bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

36 terim · gözlemlenebilirlik

Açıklama KuyruğuAnnotation QueueÜretim izlerinin insan değerlendiriciler tarafından sırayla etiketlenmesi için oluşturulan iş listesi.Ajan SunumuAgent ServingAjanların üretim ortamında API olarak çalıştırılması; tek model çağrısından farklı olarak çok adımlı ve uzun süren yürütmeyi, akışlı yanıtı, oturum durumunu, araç erişim yetkilerini ve izlemeyi yönetmeyi gerektirir.BeklentilerExpectationsDeğerlendirme için beklenen/doğru çıktı (ground truth) tanımları.DeğerlendiricilerScorersBir çıktıyı veya izi alıp puan, etiket ve gerekçe döndüren değerlendirme fonksiyonları; kurala dayalı kod (ör. biçim kontrolü) ya da LLM yargıç olabilir ve hem geliştirme testlerinde hem üretim izlerinde çalıştırılır.Değerlendirme DöngüsüEval LoopÜretim izlerinden zor örneklerin toplanıp test kümesine eklenmesi ve her değişiklikte yeniden değerlendirme yapılması.Değerlendirme Odaklı GeliştirmeEvaluation-Driven DevelopmentBir LLM veya ajan uygulamasında önce başarı ölçütlerini ve değerlendirme kümesini tanımlayıp her istem, model veya kod değişikliğini bu değerlendirmelerle ölçerek ilerleyen geliştirme pratiği; yazılımdaki test güdümlü geliştirmenin (TDD) yapay zekâ karşılığıdır.Değerlendirme Veri KümeleriEvaluation DatasetsTest senaryoları ve ground truth içeren merkezi değerlendirme veri kümeleri.Deney TakibiExperiment TrackingDenemelerin (parametre, metrik, artefakt) kayıt altına alınması.Gecikme KırılımıLatency BreakdownToplam yanıt süresinin getirme, model çağrısı, araç çağrısı gibi adımlara ayrıştırılması.Geri Bildirim (İz)Feedback (Trace Feedback)Bir iz veya çıktıya insan ya da otomatik geri bildirim eklenmesi.Gösterge PaneliDashboardMetrik ve izlerin görselleştirildiği izleme ekranı.GünlüklemeLoggingİstem, yanıt, hata ve sistem olaylarının kayıt altına alınması.Hata OranıError RateBaşarısız isteklerin (zaman aşımı, format hatası, ret) toplam isteklere oranı.İstem Kayıt DefteriPrompt RegistryPrompt şablonlarının versiyonlanıp merkezi olarak yönetildiği sistem.İstem Oyun AlanıPrompt Playgroundİstemlerin farklı model ve parametrelerle hızlıca denenip karşılaştırıldığı arayüz.İzTraceTek bir isteğin baştan sona tüm yürütme kaydı.İz BilgisiTraceInfoMLflow Tracing'de bir iz nesnesinin iki parçasından biri; iz kimliği, durum, başlangıç zamanı, süre, etiketler ve değerlendirmeler gibi hafif metadata'yı tutar ve izleri aramak, filtrelemek için kullanılır.İz VerisiTraceDataMLflow Tracing'de bir iz nesnesinin asıl içeriği; isteğin girdisini, çıktısını ve her biri kendi girdi, çıktı ve süresine sahip span'lerin listesini tutar.İzleme (Tracing)Tracing (Observability)Bir isteğin uygulama içindeki tüm yürütme akışının uçtan uca kaydedilmesi.Koruyucu Bariyer İzlemeGuardrail MonitoringGüvenlik filtrelerinin tetiklenme sıklığının ve engellenen isteklerin takip edilmesi.MetriklerMetricsGecikme, hata oranı, token kullanımı gibi sayısal ölçümlerin zaman serisi olarak toplanması.Model Paketleme FormatlarıModel Flavors (Packaging)MLflow'da bir modelin hangi kütüphane veya çalışma zamanıyla (ör. scikit-learn, PyTorch, transformers) kaydedilip yükleneceğini tanımlayan paketleme formatı; ortak 'python_function' (pyfunc) formatı farklı modelleri aynı arayüzle sunmayı sağlar.OpenLLMetryTraceloop'un geliştirdiği, OpenAI, Anthropic, LangChain gibi kütüphanelere yapılan LLM çağrılarını OpenTelemetry izlerine otomatik dönüştüren açık kaynak enstrümantasyon kütüphanesi; Traceloop Mart 2026'da ServiceNow tarafından satın alındı.OpenTelemetryİz, metrik ve günlük verilerini üreticiden bağımsız biçimde toplayıp dışa aktarmak için API, SDK, toplayıcı (collector) ve OTLP protokolü sunan, CNCF bünyesindeki açık kaynak gözlemlenebilirlik standardı; LLM izleme araçlarının çoğu bu formatı destekler.OTel GenAI Semantik KurallarıOpenTelemetry GenAI Semantic ConventionsLLM çağrılarının (model, token, istem) izlerde standart alan adlarıyla kaydedilmesini tanımlayan OpenTelemetry uzantısı.Otomatik DeğerlendirmeAutomatic EvaluationÇıktıların insan müdahalesi olmadan puanlanması; biçim ve tam eşleşme kontrolleri gibi kurala dayalı testler, BLEU/ROUGE gibi referans metrikleri veya LLM yargıçlarla yapılır. Hızlı ve ucuzdur ama insan değerlendirmesiyle düzenli kalibre edilmelidir.Otomatik İstem OptimizasyonuPrompt Optimization (Automated)Bir değerlendirme kümesi ve metrik kullanarak istem talimatlarını ve örnekleri algoritmayla deneyip en yüksek puanı veren sürümü seçen yöntem; DSPy'ın MIPROv2 ve GEPA optimizatörleri yaygın örneklerdir.Otomatik Sorun TespitiAI Insights / Automatic Issue DetectionÇok sayıda üretim izini yapay zekâyla tarayarak tekrarlayan hata örüntülerini, kalite düşüşlerini ve anomalileri otomatik olarak kümeleyip raporlayan özellik; izleri tek tek incelemeden hangi sorun türünün ne sıklıkta görüldüğünü ortaya çıkarır.Oturum TakibiSession TrackingAynı kullanıcı oturumundaki tüm izlerin bir arada gruplanması.Regresyon Testi (LLM/Agent)Regression TestingDeğişikliklerin kalite regresyonuna yol açıp açmadığının test edilmesi.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium