Když Gemini 3 Flash nezná odpověď, prostě si ji vymyslí.

Ale podle hodnocení nezávislé testovací skupiny, pokud se jich zeptáte na něco, o čem opravdu neví, ať už tvrdě nebo ze svých znalostí, bude se téměř vždy snažit reagovat lhaním nebo vynalézáním něčeho.

V testech “stupeň halucinací” (míra rozpoznávání) na vstupu Benchmark AA @ Omniscience, Gemini 3 Flash dosáhl 91 procent fush, což znamená, že i když nebyla správná odpověď, odpověděl stejně, a často to bylo zcela vynalezené.

Tento fenomén “je známý problém ve vzorcích tvorby textu: vědět, kdy zastavit a říct “neví” je stejně důležité jako vědět, jak odpovědět. Podle tohoto testu to Gemini nedělá moc dobře, hlásí Telegraph, vysílání Periskop.

To však neznamená, že 91% jeho odpovědí je špatně. Tento obrázek ukazuje, jak často něco vynalézá v situacích, kdy skutečná odpověď je “neví”.

I když Gemini 3 Flash může být velmi silný a provádět dobře na obecné testy, je velmi sebejistý, i když by měl být opatrný, že to může být problém v seriózním použití. /Periskop