品玩4月21日讯,据techCrunch 报道,OPenAI 最近推出的 o3 和 o4-mini 模型被曝存在严重的幻觉问题。
وفقا للاختبار الداخلي ل OpenAI ، فإن o4 و o0-mini أكثر عرضة للهلوسة من نماذج الاستدلال السابقة للشركة (o0 و o0-mini و o0-mini) ، بالإضافة إلى نماذج OpenAI التقليدية "غير الاستدلالية" مثل GPT-0o. كتبت OpenAI في تقريرها الفني عن o0 و o0-mini أن "هناك حاجة إلى مزيد من البحث" لفهم سبب تفاقم الهلوسة مع توسع نماذج الاستدلال.
OpenAI 发现,o3 在回答 PersonQA 中 33% 的问题时产生了幻觉,而 PersonQA 是公司内部衡量模型对人的认知准确性的基准。这大约是OpenAI之前的推理模型o1和o3-mini出现幻觉率的两倍,o1和o3-mini的幻觉率分别为16%和14.8%。O4-mini在PersonQA上的表现更糟--48%的时间出现幻觉。