Ekip, araştırmalarında şöyle yazdı:
"Model bir hastanın ırkını tanımlayabiliyorsa, bu, modellerin doğrudan bu görev için eğitilmemesine rağmen, ırksal bilgileri tanımayı dolaylı olarak öğrendiğine işaret ediyor."
Daha önceki çalışmalarda olduğu gibi, makine öğrenimi algoritmalarının hastaların Siyah, Beyaz veya Asyalı olup olmadığını yüksek doğrulukla tahmin edebildiğini buldular. Ekip daha sonra algoritmanın bu bilgiyi toplayabilmesi için birkaç olası yolu test etti. Yapılan tüm incelemeler sonucunda, yapay zekânın ırkı düşük kaliteli görüntülerde bile doğru olarak tahmin ettiği, ancak bunu nasıl başardığının hala anlaşılamadığı ortaya çıktı. Ancak, istenmeden de olsa sağlanan bu ek bilginin olası sorunlar çıkarabileceğine de işaret ediliyor.
Araştırmanın yazarları,
"Tıbbi görüntü analiziyle ilgilenen tüm geliştiricilerin, düzenleyicilerin ve kullanıcıların derin öğrenme modellerinin kullanımını son derece dikkatli bir şekilde düşünmelerini şiddetle tavsiye ediyoruz" diyor ve ekliyor:
"Irk bilgisi özel olarak sağlanmamış olsa bile, makinenin bunu ortaya koyuyor olması, mevcut tıbbi uygulamada var olan ırksal eşitsizliklerin sürdürülmesine veya hatta daha da kötüleştirmek için doğrudan bir mekanizma olarak ortaya çıkmasına neden olabilir."