OpenAI’ın Yeni Yapay Zeka Modelleri Halüsinasyon Oranlarıyla Şaşırtıyor!

Yapay zeka dünyasının öncülerinden OpenAI, kısa süre önce GPT-o3 ve o4-mini isimli yeni nesil yapay zeka modellerini kullanıma sundu. Ancak bu güçlü modellerle ilgili ortaya çıkan son bulgular, beklentilerin aksine bazı endişeleri de beraberinde getiriyor.

Yeni Modeller, Eski Modellerden Daha Fazla Halüsinasyon Görüyor

OpenAI’ın yaptığı iç testler, o3 ve o4-mini modellerinin, selefleri olan o1, o1-mini ve o3-mini’ye kıyasla daha sık “halüsinatif” yani gerçek dışı ve hatalı bilgi ürettiğini ortaya koydu. Özellikle insanlarla ilgili soruların test edildiği PersonQA değerlendirmesinde, o3 modelinin %33 oranında hatalı cevaplar ürettiği tespit edildi.

Karşılaştırma yapmak gerekirse:

  • o1 modeli: %16 halüsinasyon oranı
  • o3-mini modeli: %14,8 halüsinasyon oranı
  • o3 modeli: %33 halüsinasyon oranı
  • o4-mini modeli: %48 halüsinasyon oranı

Özellikle o4-mini modelinin neredeyse yarı yarıya yanlış cevap vermesi, bu konudaki endişeleri daha da artırmış durumda.

Bağımsız Araştırmalar da Sonuçları Doğruladı

OpenAI’ın dahili testlerinin dışında, bağımsız araştırma laboratuvarı Transluce da benzer bir duruma dikkat çekti. Araştırmalar, o3 modelinin matematik sorularında işlem adımlarını açıklarken sıklıkla uydurma veya gerçekle bağdaşmayan bilgiler sunduğunu ortaya koydu.

Transluce’un kurucu ortağı ve eski OpenAI çalışanı Neil Chowdhury, bu durumun büyük ihtimalle eğitim sürecinde kullanılan tekniklerden kaynaklandığını düşünüyor. Ancak kesin sebebin belirlenebilmesi için daha fazla araştırmaya ihtiyaç duyulduğunun da altını çiziyor.

OpenAI: “Nedeni Henüz Bilinmiyor”

OpenAI cephesinden gelen açıklamalarda da, bu beklenmedik halüsinasyon oranlarının kesin nedeninin henüz anlaşılamadığı vurgulandı. Şirket, yayımladığı teknik raporda, bu durumun arkasındaki faktörlerin tespit edilmesi için daha fazla çalışmaya ihtiyaç olduğunu belirtti.


Yapay zeka modelleri her geçen gün daha yetenekli hale gelse de, doğruluk ve güvenilirlik konusundaki sorunlar hâlâ çözülmüş değil. OpenAI’ın yeni nesil modellerinin bu yüksek halüsinasyon oranları, teknolojinin geldiği noktayı sorgulatırken, bu sorunun çözülmesi için sektör genelinde daha derin araştırmalara ihtiyaç duyulduğu açıkça görülüyor.

Haber Merkezi

Haber Merkezi

Makaleler: 1587