品玩4月21日讯,据techCrunch 报道,OPenAI 最近推出的 o3 和 o4-mini 模型被曝存在严重的幻觉问题。
Menurut pengujian internal OpenAI, o4 dan o0-mini lebih rentan terhadap halusinasi daripada model inferensi perusahaan sebelumnya (o0, o0-mini, dan o0-mini), serta model "non-inferensi" tradisional OpenAI seperti GPT-0o. OpenAI menulis dalam laporan teknisnya tentang o0 dan o0-mini bahwa "diperlukan lebih banyak penelitian" untuk memahami mengapa halusinasi semakin buruk seiring berkembangnya model inferensi.
OpenAI 发现,o3 在回答 PersonQA 中 33% 的问题时产生了幻觉,而 PersonQA 是公司内部衡量模型对人的认知准确性的基准。这大约是OpenAI之前的推理模型o1和o3-mini出现幻觉率的两倍,o1和o3-mini的幻觉率分别为16%和14.8%。O4-mini在PersonQA上的表现更糟--48%的时间出现幻觉。