il y a 9 heuresQuand Gemini 3 Flash ne connaît pas la réponse, il l'invente.
Periskopi(il y a 6 mois)
(il y a 6 mois)Gemini 3 Flash est un modèle d'intelligence artificielle rapide et intelligente. Mais, selon une évaluation faite par un groupe d'essai indépendant, si vous leur demandez quelque chose qu'il ne sait pas vraiment est incompréhensible, difficile ou par sa connaissance, il va presque toujours essayer [...]
Mais, selon une évaluation faite par un groupe d'essais indépendant, si vous leur demandez quelque chose qu'il ne sait pas vraiment, dur ou hors de sa connaissance, il essaiera presque toujours de répondre en mentant ou en inventant quelque chose.
Dans les tests de “le degré d'hallucinations” (taux de reconnaissance) à l'entrée Benchmark AA @Omniscience, Gemini 3 Flash a atteint un fush de 91 pour cent, ce qui signifie que même quand il n'y avait pas de réponse correcte, il a répondu de toute façon, et souvent il a été complètement inventé.
Ce phénomène de “est un problème connu dans les modèles de génération de texte: savoir quand s'arrêter et dire “ne sait pas” est aussi important que savoir comment répondre. Selon ce test, Gemini ne fait pas très bien, rapporte Télégraphe, diffusion Périscope.
Cela ne signifie toutefois pas que 91 pour cent de ses réponses sont erronées. Cette figure montre à quelle fréquence il invente quelque chose dans des situations où la vraie réponse serait “ne sait pas”.
Même si Gemini 3 Flash peut être très puissant et bien effectuer des tests généraux, il est très confiant même quand il devrait être prudent que ce soit un problème en utilisation sérieuse. /Périscope
