Bir modelin veya yapay zekâ uygulamasının belirli bir işte ne kadar iyi, güvenli ve tutarlı çalıştığını test kümeleri, ölçütler, insan değerlendiriciler veya yargıç modellerle sistematik olarak ölçme işi; yapay zekâ geliştirmede yazılımdaki testlerin karşılığıdır.
→ Bir aracı satışa çıkmadan önce fren, yakıt ve çarpışma testlerinden geçirmek gibi: yapay zekânın da işini ne kadar iyi ve güvenli yaptığı sistemli ölçülür.
OpenAI, araştırma altyapısındaki bütün model iş yüklerini tek merkezden izleyen Control Room'u devreye aldı. Müdahale kararı verildikten sonra eğitim, değerlendirme ve ajan çalıştırmaları dahil işleri 35 saniye içinde durdurabiliyor.
Hume AI'ın Audio Decision API'si, transkripte dönüştürmeden ham sesi doğrudan işleyerek konuşma ve sesle ilgili özel sorulara gerçek zamanlı olasılık puanlarıyla yanıt veriyor ve yeniden eğitim gerektirmiyor. Arayanın sinirlendiğini fark etme ve yapay zekâ ile üretilmiş sesleri belirleme gibi kullanımları olan model, insan değerlendirmeleriyle yüzde 70,7 uyum gösterdi.
Güvenlik şirketi Claroc, Muse'un sohbet başlıklarını alt alan adlarına yazdığı için paylaşım linklerinin DNS kayıtlarından bulunabildiğini keşfetti ve 6.800 link üzerinden kredi başvuruları, gelir değerlendirmeleri gibi gizli verilere ulaştı. Meta, yapay zekâ ajanı Muse'un paylaşım özelliğini askıya aldı.