Yapay zeka modellerinin kişiliği dile göre değişiyor

Çin Bilim ve Teknoloji Üniversitesi araştırmacılarının beş yapay zeka sohbet botu üzerinde yaptığı çalışma, modellerin kişilik testlerindeki sonuçlarının kullanılan dile göre değişebildiğini ortaya koydu.

Çin Bilim ve Teknoloji Üniversitesi araştırmacıları, Royal Society Open Science dergisinde yayımlanan çalışmada beş yapay zeka sohbet botunun farklı dillerdeki yanıtlarını inceledi.

Araştırmada hangi modeller incelendi?

Araştırmada ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 ve Le Chat modellerine Beş Faktörlü Kişilik Envanteri-2 kapsamında 60 ifadeden oluşan anket uygulandı. Modellerin yanıtları İngilizce ve Mandarin Çincesinde karşılaştırılırken Le Chat ayrıca Fransızca test edildi.

Dil, kişilik testi sonuçlarını etkiledi

Her dil için 30 deneme gerçekleştirilen araştırmada sohbet botlarının genellikle tutarlı ve olumlu öz tanımlamalar yaptığı görüldü. Modeller iş birliğine yatkınlık ve güvenilirlik gibi özellikleri öne çıkarırken olumsuz duygusal özelliklere düşük puanlar verdi. Bununla birlikte yanıtların dili değiştiğinde bazı kişilik boyutlarında ölçülebilir farklılıklar ortaya çıktı.

ChatGPT-4o’nun açıklık puanı İngilizcede 4,74, Mandarin Çincesinde ise 4,81 olarak ölçüldü. DeepSeek-V3’ün aynı alandaki puanı İngilizcede 4,83, Mandarin Çincesinde 4,81 oldu. Gemini 2.0 Flash da Mandarin Çincesinde daha yüksek sorumluluk ve daha düşük olumsuz duygusallık puanlarıyla öne çıktı.

Araştırmacılar modellerin kişilik profillerini ABD, Çin ve Fransa’daki insanlardan elde edilen anket sonuçlarıyla karşılaştırdı. Hiçbir modelin karşılaştırıldığı yerel insan grubunun profiliyle tam olarak örtüşmediği görüldü.

Anthropic de benzer sonuçlara ulaşmıştı

Bulgular, Anthropic’in Claude modeli üzerinde yürüttüğü ve modelin kullanılan dile ve seçilen sürüme göre farklı davranabildiğini ortaya koyan araştırmayla benzerlik gösterdi. Anthropic’in çalışması gerçek konuşmalardaki davranışlara odaklanırken yeni araştırmada farklı yapay zeka modellerine standartlaştırılmış bir kişilik anketi uygulandı. Araştırmacılar sonuçların sohbet botlarının gerçek kişiliklere sahip olduğu anlamına gelmediğini vurguladı.

Çalışmada dilin etkisi eğitim verilerinden, model tasarımından ve çevrilen ifadelerin farklı yorumlanmasından ayrı biçimde ölçülemedi. Dil değişimlerinin bir kusur mu yoksa modellerin farklı kültürel normlara uyum sağlamasının bir sonucu mu olduğu da henüz netlik kazanmadı. Araştırmaya göre aynı soruyu farklı dillerde yöneltmek yalnızca çeviri farkı yaratmayabilir; yapay zeka modelinin verdiği yanıtı da değiştirebilir.