Sigurno ste se u svojoj ChatGPT karijeri susreli s halucinacijama - pojavi u kojoj vam chat daje tvrdnju koja je apsolutno netočna, a zvuči kao najuvjerljiviji dio njegovog odgovora 💡
To nije namjerno laganje, već jednostavna istina koju često zaboravljamo - AI modeli ne znaju kada ne znaju❗️
Oni samo predviđaju tekst koji je statistički najvjerojatniji, riječ po riječ, na temelju goleme količine teksta na kojem su trenirani.
Zašto se to događa?
Kada nešto upitate AI, model ne pretražuje bazu podataka i nema popis činjenica koje provjerava. Pitanje na koje model odgovara nije „Je li ovo istina?“, već „Kako obično izgleda rečenica na ovom mjestu?“ ✅
Nadalje, model je uz sadržaj naučio i formu. Zna kako izgleda citat, kako izgleda action item s vlasnikom i rokom. Može savršeno posložiti formu i u nju staviti sadržaj koji ne postoji. Upravo zato halucinacija nikad ne izgleda kao greška, nego kao uvjerljivi dio odgovora.
Također, modeli su trenirani da budu korisni i da uvijek daju odgovore. Ako u materijalu primjerice nedostaje brojka, uvjerljiva izmišljena brojka mu je bolji odgovor od praznog hoda. Rupu će popuniti, osim ako mu izričito ne kažete da to ne radi 🤦♀️
Kako smanjiti halucinacije?
Evo zato upute kako si povećati šanse da izbjegnete netočne, izmišljene ili nepotkrijepljene činjenice 👇
-
Na kraju prompta dodajte:
Btw zadnja rečenica je najvažnija, jer izravno modelu nalažete da ne popunjava praznine, iako ni to ne garantira output bez halucinacija.
Za svaku tvrdnju označi izvor: [DOKUMENT] ako je doslovno iz priloženog materijala i citiraj tu rečenicu, [ZAKLJUČAK] ako si to izveo iz materijala, [OPĆE ZNANJE] ako dolazi izvana. Ako nečega nema u materijalu, napiši ‘nije u materijalu’ i nemoj popuniti prazninu.
- Kod brojki ili tvrdnji tražite izvore pa sami kliknite na svaki.
-
Kad je sažetak gotov, u istom chatu tražite:
Prođi svoj odgovor tvrdnju po tvrdnju i uz svaku nađi doslovni citat iz materijala. Ako za neku tvrdnju nema citata, izbaci je i napiši zašto.
I za kraj.
Uvijek, ali uvijek morate pregledati output: ništa što ide prema klijentu ne izlazi bez mog prolaza kroz brojke, imena i rokove ✅