Yapay Zekâ Terimleri37 sonuçDeney TakibiExperiment TrackingDenemelerin (parametre, metrik, artefakt) kayıt altına alınması.Model Paketleme FormatlarıModel Flavors (Packaging)MLflow'da bir modelin hangi kütüphane veya çalışma zamanıyla (ör. scikit-learn, PyTorch, transformers) kaydedilip yükleneceğini tanımlayan paketleme formatı; ortak 'python_function' (pyfunc) formatı farklı modelleri aynı arayüzle sunmayı sağlar.Ajan SunumuAgent ServingAjanların üretim ortamında API olarak çalıştırılması; tek model çağrısından farklı olarak çok adımlı ve uzun süren yürütmeyi, akışlı yanıtı, oturum durumunu, araç erişim yetkilerini ve izlemeyi yönetmeyi gerektirir.Otomatik İstem OptimizasyonuPrompt Optimization (Automated)Bir değerlendirme kümesi ve metrik kullanarak istem talimatlarını ve örnekleri algoritmayla deneyip en yüksek puanı veren sürümü seçen yöntem; DSPy'ın MIPROv2 ve GEPA optimizatörleri yaygın örneklerdir.Sürüm İzlemeVersion TrackingBir uygulama veya ajanın her sürümünde kullanılan model, istem, kod ve yapılandırmanın kaydedilip izlere ve değerlendirme sonuçlarına bağlanması; hangi değişikliğin kaliteyi veya maliyeti etkilediğini sürümler arasında karşılaştırmayı sağlar.Yeniden OynatmaReplayKaydedilmiş bir izin, değiştirilmiş istem veya modelle tekrar çalıştırılarak karşılaştırılması.İstem Kayıt DefteriPrompt RegistryPrompt şablonlarının versiyonlanıp merkezi olarak yönetildiği sistem.İstem Oyun AlanıPrompt Playgroundİstemlerin farklı model ve parametrelerle hızlıca denenip karşılaştırıldığı arayüz.Otomatik Sorun TespitiAI Insights / Automatic Issue DetectionÇok sayıda üretim izini yapay zekâyla tarayarak tekrarlayan hata örüntülerini, kalite düşüşlerini ve anomalileri otomatik olarak kümeleyip raporlayan özellik; izleri tek tek incelemeden hangi sorun türünün ne sıklıkta görüldüğünü ortaya çıkarır.Koruyucu Bariyer İzlemeGuardrail MonitoringGüvenlik filtrelerinin tetiklenme sıklığının ve engellenen isteklerin takip edilmesi.Regresyon Testi (LLM/Agent)Regression TestingDeğişikliklerin kalite regresyonuna yol açıp açmadığının test edilmesi.Otomatik DeğerlendirmeAutomatic EvaluationÇıktıların insan müdahalesi olmadan puanlanması; biçim ve tam eşleşme kontrolleri gibi kurala dayalı testler, BLEU/ROUGE gibi referans metrikleri veya LLM yargıçlarla yapılır. Hızlı ve ucuzdur ama insan değerlendirmesiyle düzenli kalibre edilmelidir.Değerlendirme Odaklı GeliştirmeEvaluation-Driven DevelopmentBir LLM veya ajan uygulamasında önce başarı ölçütlerini ve değerlendirme kümesini tanımlayıp her istem, model veya kod değişikliğini bu değerlendirmelerle ölçerek ilerleyen geliştirme pratiği; yazılımdaki test güdümlü geliştirmenin (TDD) yapay zekâ karşılığıdır.Değerlendirme DöngüsüEval LoopÜretim izlerinden zor örneklerin toplanıp test kümesine eklenmesi ve her değişiklikte yeniden değerlendirme yapılması.Yargıç ModelLLM-as-a-JudgeBir LLM'in başka bir modelin çıktısını değerlendirici olarak kullanılması.Değerlendirme Veri KümeleriEvaluation DatasetsTest senaryoları ve ground truth içeren merkezi değerlendirme veri kümeleri.BeklentilerExpectationsDeğerlendirme için beklenen/doğru çıktı (ground truth) tanımları.DeğerlendiricilerScorersBir çıktıyı veya izi alıp puan, etiket ve gerekçe döndüren değerlendirme fonksiyonları; kurala dayalı kod (ör. biçim kontrolü) ya da LLM yargıç olabilir ve hem geliştirme testlerinde hem üretim izlerinde çalıştırılır.Açıklama KuyruğuAnnotation QueueÜretim izlerinin insan değerlendiriciler tarafından sırayla etiketlenmesi için oluşturulan iş listesi.Oturum TakibiSession TrackingAynı kullanıcı oturumundaki tüm izlerin bir arada gruplanması.OpenLLMetryTraceloop'un geliştirdiği, OpenAI, Anthropic, LangChain gibi kütüphanelere yapılan LLM çağrılarını OpenTelemetry izlerine otomatik dönüştüren açık kaynak enstrümantasyon kütüphanesi; Traceloop Mart 2026'da ServiceNow tarafından satın alındı.Geri Bildirim (İz)Feedback (Trace Feedback)Bir iz veya çıktıya insan ya da otomatik geri bildirim eklenmesi.OpenTelemetryİz, metrik ve günlük verilerini üreticiden bağımsız biçimde toplayıp dışa aktarmak için API, SDK, toplayıcı (collector) ve OTLP protokolü sunan, CNCF bünyesindeki açık kaynak gözlemlenebilirlik standardı; LLM izleme araçlarının çoğu bu formatı destekler.OTel GenAI Semantik KurallarıOpenTelemetry GenAI Semantic ConventionsLLM çağrılarının (model, token, istem) izlerde standart alan adlarıyla kaydedilmesini tanımlayan OpenTelemetry uzantısı.Hata OranıError RateBaşarısız isteklerin (zaman aşımı, format hatası, ret) toplam isteklere oranı.Gecikme KırılımıLatency BreakdownToplam yanıt süresinin getirme, model çağrısı, araç çağrısı gibi adımlara ayrıştırılması.UyarıAlertingMetrikler eşik değerleri aştığında ekibe otomatik bildirim gönderilmesi.Token Kullanım TakibiToken Usage TrackingKullanıcı, özellik veya model bazında tüketilen girdi/çıktı token'larının izlenmesi.MetriklerMetricsGecikme, hata oranı, token kullanımı gibi sayısal ölçümlerin zaman serisi olarak toplanması.Gösterge PaneliDashboardMetrik ve izlerin görselleştirildiği izleme ekranı.İz BilgisiTraceInfoMLflow Tracing'de bir iz nesnesinin iki parçasından biri; iz kimliği, durum, başlangıç zamanı, süre, etiketler ve değerlendirmeler gibi hafif metadata'yı tutar ve izleri aramak, filtrelemek için kullanılır.İz VerisiTraceDataMLflow Tracing'de bir iz nesnesinin asıl içeriği; isteğin girdisini, çıktısını ve her biri kendi girdi, çıktı ve süresine sahip span'lerin listesini tutar.GünlüklemeLoggingİstem, yanıt, hata ve sistem olaylarının kayıt altına alınması.İzTraceTek bir isteğin baştan sona tüm yürütme kaydı.SpanBir iz (trace) içindeki tek bir işlem/adım birimi.İzleme (Tracing)Tracing (Observability)Bir isteğin uygulama içindeki tüm yürütme akışının uçtan uca kaydedilmesi.LLMOpsBüyük dil modeli tabanlı uygulamaların geliştirme, dağıtım, izleme ve iyileştirme sürecine özel pratikler bütünü.

Ana Sayfa
YZ Haberleri
YZ Linkleri