V pokusu měli lidé, kteří současně komunikovali s umělou inteligencí (AI) a člověkem, říci, koho pokládají za stroj, a koho za lidskou bytost. Speciálně zaúkolovaný chatbot si vytvořil umělou osobnost, která byla důvěryhodnější než člověk.
Úkol zněl jednoduše. Lidé přes textový chat vedli dva rozhovory. Jeden s člověkem, druhý s umělou inteligencí. Testovaný měl vybrat, koho z diskuzních partnerů považuje za lidskou bytost, a koho za stroj. V tomto experimentu, který se označuje jako Turingův test, umělé bytosti ty lidské porazily. Dokázaly totiž přesvědčit, že jsou lidmi víc než opravdoví lidé.
Ve zdání lidskosti vyhrál model GPT-4.5, který dostal zadání, aby předstíral, že je poněkud sociálně neobratným mladým mužem, který rád v komunikaci používá slang. Tuto falešnou osobnost považovalo za reálného člověka 73 procent zkoumaných osob, což znamená, že se tato AI vydávala za člověka přesvědčivěji než člověk.
Podle magazínu Psychology Today to odhaluje, jak nesmírně zranitelný je člověk vůči podobným manipulacím. V době, kdy procházejí AI dramaticky rychlým vývojem (který se podle řady expertů ještě zrychlí, až začnou AI vylepšovat samy sebe), to pokládá řadu znepokojivých otázek. Jak konstatuje výše uvedený časopis: „Nešlo o selhání detekce umělé inteligence. Byl to triumf umělé empatie.“
Hra na člověka má vítěze: stroj
Výzkum je dílem vědců z Kalifornské univerzity v San Diegu. Ti vloni nechali proběhnout více než tisícovku takových třístranných rozhovorů. Otestovali v nich čtyři pokročilé modely AI, přičemž opravdu s přehledem lidi porazil jen jediný, právě GPT-4.5. Vědci ho vyzkoušeli ve dvou variantách, v jedné neměl nastavenou žádnou osobnost, ve druhé mu pomohli vytvořit falešného mladíka: ten občas dělal chyby, choval se rozpačitě, používal neformální slang a snažil se být šarmantní. Zatímco obecný model lidé dokázali odhalit relativně spolehlivě, u toho s „osobností“ selhávali.
Základní model dokázal přesvědčit o své lidskosti ve 36 procentech, „nesmělý mládenec“ to dokázal v 76 procentech. Testující lidé se přitom podle studie pídili právě po „lidskosti“ objektu na druhé straně obrazovky. Jen málokdy se ptali na logické nebo faktické otázky, netestovali schopnost uvažování, věnovali pozornost emocím ve vyjadřování, hodně dali právě na drobné chyby v komunikaci, jakými jsou nespisovnost nebo zadrhávání se.
Nejčastějšími argumenty, proč zvolili, co zvolili, byly „tenhle působil opravdověji“ a „mluvili přirozeněji“. „Často se spoléhali na jazykový styl, neformální jazyk nebo tón,“ shrnuli to autoři studie.
Kolaps rozlišování
Autoři experimentu tak dokázali během pár minut vytvořit falešnou osobnost, která dokázala ovlivnit i lidi, kteří byli varováni, že mohou čelit AI. Ani tak nedokázali umělého podvodníka odhalit. O něco úspěšnější než většina byli v experimentu lidé, kteří studovali psychologii.
„Tato studie neukázala jen to, že nás GPT-4.5 může oklamat. Ukázala, že se necháme oklamat snadněji, než si myslíme,“ zdůrazňuje Psychology Today. „Turingův test se obrátil: Turingův test už není testem strojů, ale nás samotných. A my stále častěji selháváme. Protože už nehodnotíme lidskost na základě kognitivní podstaty. Hodnotíme ji na základě toho, jak se při ní cítíme. A velké jazykové modely ho dokáží využít s neuvěřitelnou přesností,“ dodává zmíněný článek.
Jiný pohled
Takzvané umělé inteligence a programy schopné konverzace porazily člověka už mnohokrát. Poprvé to přesvědčivě dokázal program jménem Eugene Goostman už roku 2014. A podobnými triky, jako to dokázal nyní GPT-4.5: tedy předstíráním zapomětlivosti, zdánlivým snižováním vlastních schopností a jakousi roztržitostí při diskuzi.
Ve skutečnosti byla základní verze GPT-4.5 méně úspěšná než „prababička“ chatbotů ELIZA, která dokázala o své lidskosti přesvědčit už v šedesátých letech dvacátého století pomocí několika velmi primitivních diskuzních triků – například na otázku odpovídal vlastní otázkou odvozenou z té původní.
