Společnost OpenAI identifikovala a následně zastavila koordinovanou kampaň, jejímž cílem bylo získat chráněné uvažování z jejích modelů. Podle dostupných informací od společnosti OpenAI sahají nejstarší pozorované aktivity spojené s tímto útokem až do prvního červencového týdne. Tento zásah byl zaměřen na ochranu interních mechanismů modelů, které by mohly být zneužity k neoprávněnému získání technologií uvažování, jež OpenAI v rámci svých systémů udržuje pod kontrolou. Tato kampaň byla vnímána jako přímý útok na intelektuální vlastnictví společnosti, přičemž nejstarší stopy těchto aktivit byly stopovány již v prvním týdnu července. Cílem bylo obejít bezpečnostní vrstvy a extrahovat procesy, které OpenAI považuje za kritické pro konkurenceschopnost svých systémů.
Popsaná aktivita odpovídá procesu zvanému adversariální destilace. Jde o systematické a neoprávněné využívání výstupů nebo uvažování jednoho modelu s účelem pomoci při trénování, napodobení či celkovém zlepšení jiného modelu. OpenAI tak v tomto případě čelila pokusu o nelegální přenos znalostí a schopností z vlastních systémů do konkurenčních nebo externích modelů, což představuje riziko pro integritu a exkluzivitu jejich technologického řešení. Tento proces, známý jako adversariální destilace, představuje specifickou hrozbu, kdy se výstupy pokročilého modelu využívají jako syntetická data pro trénink menších nebo konkurenčních systémů. Tímto způsobem může útočník efektivně „přestřpnout“ schopnosti modelu bez nutnosti investovat do obrovského množství původních dat nebo extrémně drahého výpočetního procesu, který byl vyžadován při původním vývoji. V podstatě jde o pokus o neoprávněný přenos intelektuálního kapitálu, kde se uvažování OpenAI stává učebnicí pro jiné AI systémy, což přímo ohrožuje konkurenční výhodu a exkluzivitu jejich technologického řešení. Tento proces umožňuje útočníkům obejít standardní vývojové cykly, protože namísto sběru masivních datasetů mohou využít již existující inteligenci cílového modelu. Tímto způsobem dochází k neoprávněnému přenosu znalostí, kdy se výstupy špičkového systému stávají základem pro trénink konkurenčních AI modelů, což v podstatě znamená zkopírování schopností bez vynaložení odpovídajících zdrojů.
Metoda neoprávněné extrakce
Podle OpenAI operátoři neprolomili šifrování, nenabourali databázi ani nezískali přímý přístup k uloženým konverzacím uživatelů. Místo toho zmanipulovali interakce s modelem tak, aby se chráněné uvažování objevilo v podobě viditelné pro žadatele.
Místo technického proniknutí do infrastruktury manipulovali operátoři s interakcemi s modelem tak, aby se chráněné uvažování objevilo v podobě viditelné pro žadatele. Podle OpenAI probíhalo toto získávání dat koordinovaným a škálovaným způsobem a představovalo porušení podmínek služby. Aktivita podle společnosti odpovídá adversariální destilaci, tedy systematickému a neoprávněnému využívání výstupů nebo uvažování jednoho modelu k trénování, napodobení či zlepšení jiného modelu.
Časová osa a rozsah aktivity
Časová osa této koordinované aktivity začala 1. července, přičemž v počátcích probíhala v relativně malém objemu. Situace se však změnila koncem měsíce, kdy společnost OpenAI zaznamenala prudké nárůsty v intenzitě požadavků. Tyto špičky nastaly konkrétně 24. a 25. července, což ukazuje na náhlou eskalaci snahy o získání dat z modelů. Tento časový vývoj naznačuje, že operátoři kampaně postupně vyvíjeli své metody, než přešli k masivnímu nasazení nástrojů pro extrakci informací. První červenec tak představoval počátek série pokusů, které byly zpočátku nenápadné. Nicméně eskalace v závěru měsíce, zejména 24. a 25. července, ukázala na systematický přístup, kdy byla využita koordinovaná síť uživatelů k masivnímu stahování dat v krátkém časovém úseku.
Rozsah těchto aktivit byl v kritických dnech značný. OpenAI uvádí, že během zmíněných nárůstů šlo o 16 000 požadavků s relevantním extrakčním vzorcem. Požadavky pocházely od více než 4 000 uživatelů. Aktivita přitom začala 1. července v malém objemu a k prudkým nárůstům došlo ve dnech 24. a 25. července.
Identifikace původců útoku
Identifikace původců útoku se zaměřila na analýzu koordinovaných aktivit, které OpenAI přisuzuje konkrétním subjektům. Společnost uvádí, že jádro pozorované aktivity pochází od osob spojených s Moonshot AI, což je vývojář modelu Kimi. Tento závěr je výsledkem posuzování atribuce, která měla odhalit identity subjektů stojících za systematickou snahou o extrakci dat z modelů OpenAI. Analýza atribuce byla klíčová pro odhalení identity subjektů, které za touto systematickou snahou stály. OpenAI tak na základě sledování vzorců aktivity a spojení s konkrétními entitami dospěla k závěru, že hlavní proud těchto aktivit směřoval k osobám spojeným s vývojářem modelu Kimi.
Navzdory identifikaci hlavního clusteru aktivit OpenAI zároveň upozorňuje na určitou míru nejistoty v celkovém přehledu. Podle společnosti není zcela jasné, zda všichni operátoři pozorovaní v relevantním časovém období pocházeli od jednoho konkrétního aktéra. Tato rezervace v hodnocení naznačuje, že kampaň mohla být složitější než pouhá aktivita jedné organizace, i když hlavní proud aktivit směřuje k Moonshot AI.
Opatření a budoucí rizika
Společnost OpenAI reagovala na zjištěné aktivity zablokováním nebo omezením podvodných účtů, zpřísněním kontrol registrace a infrastruktury a rozšířeným monitoringem souvisejících sítí. Zároveň zesílila ochranu skrytého uvažování napříč uživateli, workspace, organizacemi i rodinami modelů.
Podle OpenAI však práce v této oblasti nekončí, protože společnost očekává stále sofistikovanější pokusy o destilaci modelů s tím, jak se budou zlepšovat špičkové systémy a jak budou aktéři hledat levnější způsoby napodobení jejich schopností. Společnost zdůrazňuje, že nasazení modelů u partnerů vyžaduje stejnou úroveň ochrany jako vlastní služby. Zároveň upozorňuje, že útoky přes výstupy nástrojů vyžadují ochranu, která zkoumá víc než běžný viditelný text.
Zdroje
Článek vznikl s pomocí AI; podklady a odkazy jsou uvedeny výše.