Bir araştırma ekibi, yapay zeka (AI) sohbet robotu olan ChatGPT'yi klinik muhakeme becerileri konusunda Amerika Birleşik Devletleri Tıbbi Lisans Sınavı'ndan (USMLE) gelen soruları kullanarak test etti.
Sonuçları yayınlayan ekip, yapay zekayı test etmek için tüm konuları kapsayan yüksek riskli, bilgi temelli, temel bilim, klinik muhakeme, tıbbi yönetim ve biyoetik gibi konuları içerdiği için bu sınavı seçtiğini belirtti. İnternetten büyük miktarda metin üzerinde eğitilen dil modeli, testin araştırmacılar tarafından kullanılan versiyonu üzerinde eğitilmedi ve sınav öncesinde yapay zekaya herhangi bir ek tıbbi eğitim verilmedi.
Genel ortalamayı geçti
Ekip tarafından yapılan açıklamada yapay zeka ChatGPT'nin tüm incelemelerde %50'den yüksek doğrulukla performans gösterdiği ve çoğu analizde %60'ı aştığı belirtildi.
USMLE yani United States Medical Licensing Examination sınavının geçiş eşiği yıllara göre değişiklik göstermekle birlikte ortalama %60 civarında. Bu da ChatGPT'nin artık rahatlıkla geçiş aralığının üstünde olduğunu gösteriyor. Henüz ilk deneyde bu kriterler ulaşması ekip tarafından "şaşırtıcı ve etkileyici" olarak nitelendiriliyor.
Ekip, yapay zeka performansının modeller gösterielrek, daha fazla yönlendirilerek ve etkileşimle iyileştirilebileceğini de ekliyor. Yapay zekanın düşük performans gösterdiği ve daha az uyumlu yanıtlar sağladığı durumlarda, bunun kısmen yapay zekanın karşılaşmadığı eksik bilgilerden kaynaklandığına inanıyorlar.
Bununla birlikte, OpenAI (Geliştirici ekip) yapay zeka botunun tamamen tıbbi metin üzerinde eğitilmiş modellere göre bir avantajı olduğuna inanıyorlar, çünkü klinik bağlam hakkında daha fazla genel bakışa sahip. , ChatGPT, benzer sinir yapısına sahip, ancak yalnızca biyomedikal alan literatürü konusunda eğitilmiş bir muadili [dil öğrenme modeli] olan PubMedGPT'den (doğruluk %50,8, yayınlanmamış veriler) daha iyi performans gösterdi.
Ekipten yapılan açıklamada, endüstrinin ilerleme hızı göz önüne alındığında, belki de risk değerlendirmesini iyileştirerek veya klinik kararlarda yardım ve destek sağlayarak yapay zekanın yakında sağlık hizmetleri ortamlarında yaygınlaşabileceğini belirtiyor.
Çalışma ön baskı sunucusu medRxiv'de yayınlandı ve henüz hakem değerlendirmesinden geçmemiştir.
