Kad su modeli bili na testu općim pitanjima iz SimpleQA testa, udio halucinacija skočio je na 51 % kod o3 i 79 % kod o4‑mini. To nije samo mala pogreška u sistemu, to je prava kriza identiteta. Pomislili biste da bi se sistem koji se reklamira kao “razumski” barem dvaput provjerio prije nego što nešto izmisli, ali to jednostavno nije slučaj.

“Možda su samo opširniji u odgovorima”

Jedna teorija koja kruži AI zajednicom kaže da što više model “razmišlja”, to ima više prilika za pogreške. Za razliku od jednostavnijih modela koji se drže visokopouzdanih predviđanja, razumski modeli ulaze u područje gdje moraju razmotriti više puteva, spajati udaljene činjenice i zapravo improvizirati – a improviziranje s činjenicama često znači izmišljanje.

OpenAI je za Times izjavio da povećani broj halucinacija možda ne proizlazi iz manjkavosti razumskih modela. Umjesto toga, oni bi jednostavno mogli biti opširniji i “slobodniji” u odgovorima.

Modeli trebaju biti korisni, a ne opasni

Budući da novi modeli ne ponavljaju samo predvidljive činjenice nego spekuliraju o mogućnostima, granica između teorije i izmišljene činjenice za AI postaje mutna. Nažalost, neke od tih “mogućnosti” potpuno su odvojene od stvarnosti.

Ipak, više halucinacija suprotno je onome što žele OpenAI ili konkurenti poput Googlea i Anthropica. Nazvati AI chatbotove “pomoćnicima” ili “kopilotima” implicira da su korisni, a ne opasni. Advokati su već imali problema jer su koristili ChatGPT i nisu primijetili izmišljene sudske presedane; ko zna koliko je takvih grešaka prouzročilo poteškoće u manje rizičnim situacijama?

Što se više koristi, ima manje prostora za pogreške

Mogućnosti da halucinacija prouzrokuje problem brzo se šire kako AI ulazi u učionice, urede, bolnice i državne službe. Napredna AI može pomoći pri pisanju molbi za posao, rješavanju problema s računima ili analizi proračunskih tablica, ali paradoks je da što je AI korisnija, to ima manje mjesta za pogreške.

Ne možete tvrditi da nekome štedite vrijeme i trud ako on mora jednako dugo provjeravati sve što kažete. Ne zato što ovi modeli nisu impresivni - GPT o3 pokazao je nevjerojatne sposobnosti kodiranja i logike i u nekim stvarima nadmašuje mnoge ljude. Problem nastaje onog trenutka kad odluči da je Abraham Lincoln vodio podcast ili da voda vrije na 27 °C; tada se iluzija pouzdanosti raspršuje.

Dok se ti problemi ne riješe, na svaki odgovor AI modela gledajte s golemom dozom skepse. Ponekad je ChatGPT pomalo poput osobe koja je puna samopouzdanja dok priča gluposti, zaključuje se u izvještaju.