Ağlama neden anlaşılmaz

Kısa cevap

Ağlama sesi bebeğin kim olduğunu ve kaç aylık olduğunu taşıyor. Neden ağladığını taşımıyor.

Ne ölçtük

Ticari kullanıma açık, neden etiketli tek herkese açık veri seti üzerinde çalıştık: 457 kayıt, 221 farklı bebek. Ses gömülerini çıkarıp aynı sınıflandırıcıyı üç ayrı soruya sorduk. Bölmeyi bebek bazlı yaptık: bir bebeğin kayıtları ya eğitimde ya testte, ikisinde birden değil.

Bu ayrıntı her şeyi belirliyor. Aynı bebek iki tarafta birden olursa model soruyu değil bebeği öğreniyor ve sonuç şişiyor.

Ana metriğimiz dengeli doğruluk, ham doğruluk değil. Sebebi şu: veri setindeki kayıtların %83,6'sı "aç" etiketli. Hiçbir şey öğrenmeyip her seferinde "aç" diyen boş bir model ham doğrulukta %83,6 alır.

Sonuç

Şans düzeyi parantez içinde:

• Kimlik — "bu kayıt hangi bebekten?" → %62,5 (şans %9,1). Kazanç +53,4 puan.
• Yaş — yenidoğan / bebek / büyük → %40,2 (şans %33,3). Kazanç +6,9 puan.
• Neden — üç sınıf → %32,9 (şans %33,3). Kazanç −0,4 puan.
• Neden — aç mı değil mi → %49,2 (şans %50,0). Kazanç −0,8 puan.
• Neden — acı mı değil mi → %51,0 (şans %50,0). Kazanç +1,0 puan.

Yani boru hattı çalışıyor: bireysel bebekleri sesinden ayırt edebiliyor. Aynı boru hattı, aynı veriyle, nedeni hiç bulamıyor. Sorun yöntemde değil; bilgi seste yok.

Bu bulgu yalnız bize ait değil

Communications Psychology dergisinde 2023'te yayımlanan bir çalışma, 24 bebeğin evlerinde kaydedilmiş 39.201 ağlama dizisini inceledi. Nedeni bilinen 676 kaydın üzerinde ne yetişkin dinleyiciler ne de bir algoritma nedeni güvenilir biçimde ayırt edebildi. Buna karşılık yaş ve kimlik güvenilir biçimde taşınıyordu.

Bizim ölçümümüz bu sonucun bağımsız bir doğrulaması.

"%96 doğruluk" nereden çıkıyor

Bu kategoride yüksek doğruluk iddiaları yaygın. Mekanizmayı da ölçtük.

Veri setindeki 221 bebeğin 197'si (%89) tek bir etiketle katkı vermiş. Yani bebeği tanımak, etiketi bilmek anlamına geliyor. Kayıtları bebek bazlı değil rastgele bölersen aynı bebek hem eğitimde hem testte çıkıyor ve skor kendiliğinden yükseliyor: aynı veride 3 sınıflı görev %32,9'dan %35,5'e, "aç mı" görevi %49,1'den %59,3'e, "acı mı" görevi %50,9'dan %62,7'ye çıktı. Basit bir modelde bile 10-12 puan; büyük bir modelde çok daha fazlası.

Piyasadaki bir uygulamanın modelini de aynı veri üzerinde çalıştırdık. Mutlak sessizlik verdiğimizde %100 güvenle bir neden söyledi. Denediğimiz altı yapay girdinin altısında da güven %100'dü. Aynı kaydın farklı saniyelerine baktığında kliplerin yarısından fazlasında fikir değiştiriyordu — ve fikir değiştirirken ortalama güveni %96,9'du.

Mağaza yorumlarındaki "sessiz odada bile sonuç veriyor" ve "aynı ağlamaya dört farklı cevap verdi" şikâyetlerinin sayısal karşılığı bu.

Ağlama tespiti çalışıyor, neden çalışmıyor

İki ayrı soru var ve biri gerçekten cevaplanabiliyor:

• "Bu ses bir ağlama mı?" Cevaplanabiliyor. Kendi kalibrasyonumuzda gerçek ağlamaların ağlama skoru ortancası 0,737, en zorlu yapay girdininki 0,0095 çıktı — aradaki fark yaklaşık 78 kat. Eşiğimiz 0,02; gerçek ağlamaların yaklaşık %90'ını geçirirken yapay girdilerin tamamını engelliyor.
• "Bu ağlama neden?" Cevaplanamıyor. Yukarıdaki tablo bu.

Agubu bu ikisini ayırıyor. Mikrofon ağlamanın gerçekten olduğunu doğruluyor; nedeni söylemiyor.

Peki Agubu ne yapıyor

Sesin taşımadığı bilgiyi bağlamdan çıkarıyor: son beslenmenin üzerinden ne kadar geçti, ne kadar süredir uyanık, son bez ne zaman değişti, bebek kaç aylık, saat kaç. Bunlar zayıf değil, gerçekten bilgilendirici sinyaller.

Sonuç bir cevap değil, sıralı ihtimaller. Emin olmadığında bunu açıkça yazıyor, çünkü belirsizliği gizlemek onu ortadan kaldırmıyor — sadece sana yanlış bir güven veriyor.

Ne zaman doktora başvurmalısın

Hiçbir uygulama ağlamanın ardındaki tıbbi bir durumu değerlendiremez. Aşağıdaki durumlarda hekime başvur:

• Ağlama 3 saatten uzun sürüyor ve yatışmıyorsa
• Ateş, kusma, döküntü varsa
• Alışılmadık, tiz, zayıf veya inleyen bir ağlama duyuyorsan
• Bebek beslenmeyi tümden reddediyorsa
• Ağlama düşme, darbe veya yaralanma sonrasında başladıysa
• İçgüdün bir şeyin yanlış olduğunu söylüyorsa

Acil bir durumda 112'yi ara.

Kaynaklar

Buradaki bütün sayılar kendi ölçümlerimizden veya adı verilen yayından geliyor; ölçümlerimiz uygulamanın "Nasıl çalışıyor?" sayfasında da yer alıyor ve yeniden üretilebilir.

• Kendi ölçümlerimiz — donateacry-corpus (457 kayıt, 221 bebek), bebek bazlı çapraz doğrulama
• Lockhart-Bouron ve ark., Communications Psychology, 2023 — ağlamanın yaş ve kimlik taşıdığı, nedeni taşımadığı bulgusu
• AudioSet tabanlı ağlama tespiti eşik kalibrasyonumuz