Yapay Zekâ Terimleri46 sonuçGoodhart YasasıGoodhart's Law'Bir ölçüt hedef haline gelince iyi bir ölçüt olmaktan çıkar' ilkesi; benchmark'a aşırı optimize etme riskini açıklar.Değerlendirme ÇatısıEval Harness (lm-evaluation-harness)Birçok benchmark'ı aynı istem biçimi, örnekleme ayarları ve puanlama ile çalıştırarak sonuçları karşılaştırılabilir kılan değerlendirme altyapısı; en bilineni EleutherAI'nin açık kaynak lm-evaluation-harness'ı, bir diğeri İngiltere AISI'nin Inspect çerçevesidir.Humanity's Last ExamHLE (Humanity's Last Exam)Çok sayıda alanda uzmanların hazırladığı yaklaşık 2.500 zor akademik sorudan oluşan benchmark; 2025 başında sınır modeller %10'un altında kalırken 2026'da puanlar hızla yükseldi ve en iyi modeller %50'nin üzerine çıktı.Benchmark DoygunluğuBenchmark SaturationModellerin bir benchmark'ta tavan puana ulaşması sonucu ölçütün ayırt ediciliğini kaybetmesi.Ajan Benchmark'larıAgent Benchmarks (GAIA, tau-bench, WebArena, OSWorld)Ajanların araç kullanımı, web gezinme ve bilgisayar kullanımı görevlerindeki başarısını ölçen benchmark ailesi.RULERUzun bağlam yeteneğini basit iğne aramanın ötesinde çoklu iğne ve akıl yürütme görevleriyle ölçen benchmark.MTEBMTEB (Massive Text Embedding Benchmark)Gömme modellerini arama, kümeleme ve sınıflandırma gibi görevlerde karşılaştıran benchmark.ARC-AGIEzberlenemeyen, az örnekten kural çıkarmayı gerektiren görevlerle genel akıl yürütmeyi ölçen benchmark serisi; ARC-AGI-1 ve 2 ızgara tabanlı görsel bulmacalardan oluşur, Mart 2026'da çıkan ARC-AGI-3 ise ajanların kuralları keşfetmesi gereken etkileşimli oyunlar kullanır.Samanlıkta İğne TestiNeedle in a HaystackUzun bağlamın rastgele bir yerine gizlenen bilginin model tarafından bulunup bulunamadığını test eden uzun bağlam değerlendirmesi.GSM8K / MATHİlkokul düzeyi sözel matematik (GSM8K) ve yarışma matematiği (MATH) problemleriyle akıl yürütmeyi ölçen benchmark'lar.HumanEvalPython fonksiyonu yazma görevleriyle kod üretimini ölçen klasik benchmark.SWE-benchGerçek GitHub sorunlarını çözüp depo testlerini geçirmeyi gerektiren kodlama ajanı benchmark'ı; uzun süre standart sayılan SWE-bench Verified alt kümesi, veri kirlenmesi ve hatalı testler nedeniyle 2026'da gözden düştü ve OpenAI gibi laboratuvarlar SWE-bench Pro'ya geçti.GPQADoktora düzeyinde fen sorularıyla derin uzmanlık bilgisini ölçen zor benchmark.Görev Başarı OranıTask Success RateAjanın verilen görevleri uçtan uca başarıyla tamamlama yüzdesi.Recall@k / MRR / NDCGGetirme sistemlerinin kalitesini ölçen metrikler: ilk k sonuçta doğru belgenin bulunma oranı, ortalama karşılıklı sıra ve sıraya duyarlı kazanç.MMLU / MMLU-ProMMLU (Massive Multitask Language Understanding)57 alanda dört seçenekli sorularla genel bilgi ve akıl yürütmeyi ölçen yaygın benchmark (MMLU) ve bunun 14 alanda on seçenekli, daha zor ve akıl yürütme ağırlıklı sürümü (MMLU-Pro).Halüsinasyon OranıHallucination RateModel yanıtlarında kaynakla desteklenmeyen iddiaların oranı.Sadakat / Temellendirme SkoruFaithfulness / GroundednessYanıtın verilen bağlama ne kadar sadık kaldığını ölçen RAG metriği.ŞaşkınlıkPerplexityBir dil modelinin bir metindeki token'ları ne kadar az 'şaşırarak' tahmin ettiğini ölçen metrik; ortalama negatif log-olabilirliğin üsteli olarak hesaplanır, düşük değer daha iyi modeli gösterir. Perplexity adlı yapay zekâ arama motoruyla karıştırılmamalıdır.KalibrasyonCalibrationModel güven skorlarının gerçek doğruluk oranlarıyla ne kadar örtüştüğü.METEOREş anlamlılığı da dikkate alan çeviri/özetleme değerlendirme metriği.BERTScoreReferans ve çıktı arasındaki benzerliği kelime eşleşmesi yerine bağlamsal gömmelerle ölçen metrik.BLEUMakine çevirisinin referans çevirilerle ne kadar n-gram (ardışık kelime dizisi) örtüşmesi taşıdığını ölçen, kısa çıktıları cezalandıran otomatik metrik; anlamca doğru ama farklı kelimelerle yazılmış çevirileri düşük puanlayabilir.ROUGEÖzetin referans özetlerle örtüşen n-gram veya en uzun ortak alt dizi oranını ölçen, duyarlılık (recall) odaklı otomatik metrik ailesi (ROUGE-1, ROUGE-2, ROUGE-L); anlamsal benzerliği yakalayamaz.Tam EşleşmeExact MatchModel çıktısının referans cevapla birebir aynı olma oranı.pass@kKod üretiminde, k denemeden en az birinin testleri geçme olasılığı.ROC-AUCSınıflandırıcının tüm eşik değerlerinde doğru pozitif oranını yanlış pozitif orana karşı çizen ROC eğrisinin altında kalan alan; 0,5 rastgele tahmini, 1 kusursuz ayrımı gösterir ve eşikten bağımsız bir performans özeti sunar.MSE / MAE / RMSERegresyon hatalarını ölçen metrikler: ortalama kare hata, ortalama mutlak hata ve kök ortalama kare hata.F1 SkoruF1 ScoreKesinlik ve duyarlılığın harmonik ortalaması.Karışıklık MatrisiConfusion MatrixSınıflandırma sonuçlarını doğru/yanlış türlerine göre gösteren tablo.DuyarlılıkRecallGerçek pozitiflerin ne kadarının doğru tespit edildiği oranı.DoğrulukAccuracyTüm tahminler içinde doğru olanların oranı.Çevrimiçi / Çevrimdışı DeğerlendirmeOnline / Offline EvaluationGerçek kullanıcı trafiğinde (çevrimiçi) veya sabit test kümesinde (çevrimdışı) yapılan değerlendirme.KesinlikPrecisionPozitif tahmin edilenlerin gerçekten doğru olma oranı.Elo Puanı / Arena (LMArena)Elo Rating / Arena (formerly LMArena, Chatbot Arena)Kullanıcıların anonim model yanıtlarını ikili olarak oyladığı ve oyları Bradley-Terry modeliyle Elo benzeri puana dönüştürerek sıraladığı topluluk lider tablosu; Chatbot Arena olarak başlayan platform Ocak 2026'da LMArena adından 'Arena'ya geçti.A/B TestiA/B Testingİki farklı sürümün gerçek kullanıcılarla karşılaştırmalı test edilmesi.İnsan DeğerlendirmesiHuman EvaluationModel çıktılarının insanlar tarafından değerlendirilmesi.Rubrik Tabanlı PuanlamaRubric-based GradingÇıktıların önceden tanımlı kriter listesine göre puanlanması; hem insan hem LLM yargıçlarla kullanılır.İkili Karşılaştırma / Kazanma OranıPairwise Comparison / Win Rateİki modelin aynı isteme verdiği yanıtların karşılaştırılıp hangisinin kaç kez tercih edildiğinin ölçülmesi.İşe Özgü BenchmarkCustom / Domain-specific Benchmark (Private Eval)Kurumun kendi gerçek iş örnekleri, beklenen çıktıları ve başarı ölçütleriyle hazırladığı, dışarıya açık olmayan test kümesi; genel benchmark'lar bir modelin o kurumun işinde ne kadar başarılı olacağını göstermediği için model seçimi ve kabulünde esas alınır.Model Karşılaştırma DeğerlendirmesiModel Bake-off (Comparative Evaluation)Aday modellerin aynı işe özgü test kümesinde, aynı istem ve ayarlarla çalıştırılıp kalite, maliyet, gecikme ve güvenlik açısından yan yana karşılaştırılması; bir kullanım senaryosu için hangi modelin seçileceğine bu sonuçlarla karar verilir.Gerçek DeğerGround TruthDeğerlendirmede referans alınan doğru cevap veya etiket.Altın Veri KümesiGolden Datasetİnsan tarafından doğrulanmış, yüksek kaliteli ve sabit referans test kümesi.Karşılaştırma ÖlçütüBenchmarkModelleri standart bir görev setinde karşılaştırmak için kullanılan test paketi.Lider TablosuLeaderboardModellerin benchmark performansına göre sıralandığı liste.DeğerlendirmeEvals (AI Evaluation)Bir modelin veya yapay zekâ uygulamasının belirli bir işte ne kadar iyi, güvenli ve tutarlı çalıştığını test kümeleri, ölçütler, insan değerlendiriciler veya yargıç modellerle sistematik olarak ölçme işi; yapay zekâ geliştirmede yazılımdaki testlerin karşılığıdır.

Ana Sayfa
YZ Haberleri
YZ Linkleri