„AI firmy jsou regulované míň než sendviče“. Na superinteligenci nejsou připravené

Analýza zaměřená na osm hlavních firem, které vytvářejí nejpokročilejší modely umělých inteligencí (AI), prokázala, že společnosti vůbec neřeší možnost ztráty kontroly nad takzvanými superinteligencemi, jež se snaží vytvářet. Jde o formu AI, která má ve všech ohledech překonat lidský intelekt.

Všechny velké společnosti, které vyvíjejí umělé inteligence, se snaží o co nejrychlejší vznik superinteligence. Žádná z nich ale není připravená na rizika, která jsou s tím spojená, tvrdí nová nezávislá analýza, která současně varuje, že žádná z těchto firem nemá reálně plány na prevenci katastrofických rizik umělé inteligence.

Zprávu vytvořila nezisková organizace Future of Life Institute (FLI). Zabývala se velkou osmičkou: americkými společnostmi Anthropic, OpenAI, Google DeepMind, xAI a Meta a čínskými subjekty DeepSeek, Alibaba Cloud a Z.ai. Jde o hlavní hráče na poli umělých inteligencí, kteří mají v tomto oboru největší potenciál, možnosti i vliv. Podle analýzy tyto společnosti nesplňují ani své vlastní závazky v oblasti bezpečnosti. „Plynou z toho katastrofální rizika,“ varují autoři práce.

Zpravodajský web Euronews upozorňuje, že tato zpráva přichází v době, kdy společnosti zabývající se AI čelí soudním sporům a obviněním, protože jejich chatboty údajně způsobují psychickou újmu – mimo jiné tím, že fungují jako „koučové sebevražd“. A nově také přibývá zpráv o masivních a velmi účinných kyberútocích, které pachatelé provedli právě s využitím AI.

Jako by žádná rizika neexistovala

Zpráva popsala u celé osmičky lídrů na poli AI zásadní nedostatek důvěryhodných strategií, které by předcházely katastrofálnímu zneužití nebo ztrátě kontroly nad nástroji umělé inteligence. Místo bezpečnosti totiž všechny firmy usilují o prvenství ve vytvoření všeobecné umělé inteligence (AGI), která by se měla změnit v už zmíněnou superinteligenci.

Žádná ze společností si podle analýzy nevytvořila testovatelný plán pro udržení lidské kontroly nad vysoce výkonnými systémy AI. Stuart Russell, profesor informatiky na Kalifornské univerzitě v Berkeley, uvedl, že společnosti zabývající se AI tvrdí, že mohou vyvinout nadlidskou AI – ale současně ani jedina z nich nemá promyšlené, jak by zabránila ztrátě lidské kontroly nad takovými potenciálně všemocnými systémy.

Podle Russella by toto omezení rizika mělo být podobné jako třeba u jaderných elektráren. Tam je hrozba významné nehody stanovovaná přibližně na jedna ku sto milionům. Jenže velcí vývojáři AI přiznávají, že hrozba ztráty kontroly nad superinteligencí je jedna ku deseti, jedna ku pěti – nebo dokonce jedna ku třem. Navíc jde jen o „výstřely od boku“, ve skutečnosti nejsou tyto odhady rizika opřené o žádné hlubší výpočty.

Špatní a ještě horší

Špatně dopadla v tomto výzkumu celá „velká osma“ – ale některé firmy z ní se ukázaly jako ještě horší než ty zbývající. Relativně nejlépe dopadly společnosti Anthropic, OpenAI a Google DeepMind, které jsou přinejlepším alespoň transparentní.

Zbývajících pět společností dopadlo víceméně podobně špatně. Všech osm nicméně prý udělalo znatelný pokrok správným směrem, tedy k větší opatrnosti.

Podle zástupce FLI, fyzika Maxe Tengmarka, se AI vyvíjí v posledních letech nečekaně rychle. Ještě nedávno se pokládal za horizont vzniku umělé superinteligence začátek dvaadvacátého století, v současné době se už mluví o příštích třech až pěti letech. „AI je přitom v USA stále méně regulovaná než sendviče a ve (americké) vládě pokračuje lobbing proti závazným bezpečnostním normám,“ řekl pro Euronews tento vědec, který se fenoménu AI věnuje řadu let.

Právě „jeho“ institut FLI se snaží odhalovat a vysvětlovat možná rizika, která by rychlý příchod neregulované a nekontrolované superinteligence přinesl. Ta se řadí do více typů scénářů – od masové nezaměstnanosti až po téměř okamžitý zánik celého lidského druhu. Naposledy přišel FLI s peticí proti výzkumu superinteligence, kterou podepsala spousta světových osobností s rozmanitými politickými názory, které se jinak nejsou schopné shodnout v podstatě na ničem – nechyběli signatáři z řad českých expertů.

Výběr redakce

Aktuálně z rubriky Věda

Vědci z Harvardu připodobňují šíření umělé inteligence k šíření viru

Šíření umělé inteligence (AI) je neporovnatelně rychlejší než úspěch jakékoliv jiné technologie v dějinách lidstva. Její přijetí je výrazně dynamičtější než nástup automobilů, stolních počítačů i internetu. První veřejný chatbot ChatGPT sice vznikl teprve na podzim roku 2022, ale už dnes AI používá většina lidí. Podle nové studie amerických vědců je to podobné infekci virem.
před 11 mminutami

AI může představovat existenční hrozbu, varoval komisař OSN

Umělá inteligence (AI) může pro lidstvo představovat existenční hrozbu, varoval podle tiskových agentur vysoký komisař OSN pro lidská práva Volker Türk v Ženevě a vyzval k okamžitému přijetí kroků ke snížení rizik.
před 18 hhodinami

Téměř dvacet kilo stříbra. V Dánsku našli největší vikinský poklad

Malé Thorovo kladivo Mjolnir, desítky mincí, náramky i stříbrné pruty. Přes sedm set stříbrných předmětů o váze 18,5 kilogramu obsahuje nově objevený poklad, který byl uložen do hliněné nádoby někdy v 9. století. Našel ho náhodou muž z městečka Rebild, když začal stavět novou terasu. Je téměř třikrát větší než dosud největší podobný nález v zemi.
před 19 hhodinami

Plzeňští archeologové poprvé zkoumají gulag v Kazachstánu. Trpěli tam i Češi

Plzeňští archeologové zahájili první archeologický výzkum bývalého gulagu, nápravného pracovního tábora, na území dnešního Kazachstánu. Navázali na prvotní průzkum pozůstatků táborů pro politické vězně ze 30. až 50. let 20. století, který tam provedli loni v říjnu. Takový výzkum dosud nebyl v žádné z postsovětských zemí možný. Vědci z filozofické fakulty práce provádějí ve spolupráci s organizací Gulag.cz, která se dokumentaci sovětských pracovních táborů věnuje už 15 let. Výzkum, který Kazachstán podporuje, navazuje na expedici z roku 2021.
před 22 hhodinami

VideoPlicní embolii je možné léčit efektivněji, ukázala česká studie

Odstraňování krevní sraženiny z plicních tepen katetry je v porovnání s klasickými léky proti srážení krve devětkrát efektivnější, ukázala průlomová studie českých lékařů, které se účastnilo jedenáct kardiocenter a zapojilo se přes 550 pacientů. Dávka léku je asi pětinová oproti běžnému podání, což snižuje riziko krvácení a zkracuje pobyt pacienta v nemocnici. Metoda bude součástí nových evropských doporučení pro léčbu plicní embolie, která vyjdou příští rok. Podle autorů studie to otevírá cestu ke změně léčby rizikovějších pacientů. Jen v Česku jsou to ročně až čtyři tisíce lidí.
před 23 hhodinami

Od kolapsu po soužití s AI. Vědci představili vize možné budoucnosti Česka

Následující řádky se mohou zdát jako čtyři vědeckofantastické povídky, ale jde o představy vědců, akademiků i zástupců tuzemské státní správy, kteří se pokoušejí představit si, jak rozdílnými cestami by se mohla ubírat budoucnost České republiky do konce 21. století.
6. 9. 2026

Američtí vědci možná poprvé zaznamenali podivnou temnou hmotu

Mezinárodní vědecký projekt možná našel první částice, které jsou původcem záhadné temné hmoty. Zachycený signál je ale natolik zvláštní, že možná fyzici zachytili něco ještě podivnějšího.
5. 9. 2026

V USA otestovali elektrické bezpilotní letadlo. Může být budoucností zásobování

Nad Louisianou v srpnu létalo nenápadné letadlo, které se od těch normálních lišilo hlavně kokpitem. Žádný nemělo, bylo totiž zcela bez pilota. Test byl úspěšný, měl by otevřít cestu ke schválení tohoto způsobu přepravy.
4. 9. 2026

Evropský pohled

ČT24 každý den vybírá z obsahu publikovaného evropskými veřejnými médii, členy Eurovize.