Yapay Zekâ Terimleri35 sonuçSaniyedeki TokenTPS (Tokens per Second)Modelin çıkarım sırasında birim zamanda ürettiği token sayısı; hız ölçütü.ParametrelerParametersBir modelin öğrenilebilir tüm değişkenlerinin toplamı.LogitLogitsSoftmax uygulanmadan önceki ham model çıktı skorları.Gizil UzayLatent SpaceVerinin sıkıştırılmış, soyut özelliklerini temsil eden çok boyutlu uzay.Model AğırlıklarıModel WeightsEğitim sırasında öğrenilen, modelin davranışını belirleyen sayısal parametreler.SoftmaxHam skorları (logit) toplamı 1 olan olasılık dağılımına çeviren fonksiyon.Gizli DurumHidden StateAğın ara katmanlarında tutulan sayısal temsil.İleri Beslemeli AğFFN (Feed-Forward Network)Her transformer bloğunda dikkat katmanını izleyen, token bazında çalışan tam bağlantılı katman.Katman NormalizasyonuLayer NormalizationEğitimi kararlı hale getirmek için katman çıktılarının normalize edilmesi.Artık BağlantıResidual ConnectionKatman girdisinin çıktıya eklenmesi; derin ağlarda gradyan akışını kolaylaştırır.Seyrek / Doğrusal DikkatSparse / Linear AttentionDikkatin ikinci dereceden maliyetini azaltmaya yönelik yaklaşık dikkat türleri.TransformerDikkat mekanizmasına dayanan, günümüz LLM'lerinin temel mimarisi.FlashAttentionDikkat hesaplamasını GPU belleğine uygun biçimde yeniden düzenleyerek hız ve bellek kazancı sağlayan algoritma.Kayan Pencere DikkatiSliding Window AttentionHer token'ın yalnızca yakın bir pencere içindeki token'lara dikkat ettiği, uzun dizileri verimli işleyen yöntem.Dikkat BaşıAttention HeadÇok başlı dikkat içindeki tek bir bağımsız dikkat hesaplama birimi.Gruplu / Çoklu Sorgu DikkatiGQA / MQAAnahtar-değer başlarını paylaştırarak KV önbelleğini küçülten, çıkarımı hızlandıran dikkat varyantları.Öz DikkatSelf AttentionBir dizinin kendi içindeki token'lar arası ilişkileri hesaplayan dikkat türü.Çapraz DikkatCross Attentionİki farklı dizi arasındaki ilişkiyi hesaplayan dikkat türü (örn. kodlayıcı-kod çözücü arası).Çok Başlı DikkatMulti-Head AttentionDikkatin birden fazla paralel 'baş' ile hesaplanıp birleştirilmesi; her baş farklı ilişki türlerini yakalar.Döner Konumsal KodlamaRoPE (Rotary Position Embedding)Konum bilgisini vektörleri döndürerek kodlayan, uzun bağlam genişletmeye elverişli konumsal kodlama yöntemi.Dikkat MekanizmasıAttentionModelin girdinin hangi kısımlarına odaklanacağını belirleyen mekanizma.GömmeEmbeddingKelime, cümle veya nesnelerin, anlamca benzer olanlar birbirine yakın düşecek şekilde sayısal vektörlerle temsil edilmesi; anlamsal arama, kümeleme ve RAG'in temelini oluşturur.Konumsal KodlamaPositional EncodingTransformer'a token'ların sıralama bilgisini veren yöntem.Bağlam PenceresiContext WindowModelin bir seferde işleyebildiği maksimum token sayısı.Uzun BağlamLong ContextModelin yüz binlerce ila milyonlarca token'lık bağlamı tek seferde işleyebilmesi; tüm kod tabanları veya uzun belgelerle çalışmayı sağlar, ancak bağlam uzadıkça aradaki bilgiyi gözden kaçırma ve maliyet artışı gibi sorunlar görülebilir.Sohbet ŞablonuChat TemplateSistem, kullanıcı ve asistan mesajlarını modelin eğitildiği biçimde özel token'larla düzenleyen şablon.Sonraki Token TahminiNext Token PredictionDil modellerinin temel eğitim hedefi: verilen bağlamdan sonra gelecek token'ın olasılığını tahmin etmek.tiktokenOpenAI'nin hızlı BPE tokenizer kütüphanesi; token sayımı ve maliyet tahmini için yaygın kullanılır.Özel Token'larSpecial Tokens (BOS/EOS/PAD)Dizinin başlangıcı, sonu, dolgu veya rol ayrımı gibi yapısal bilgileri taşıyan ayrılmış token'lar.Bayt Çifti KodlamaBPE (Byte Pair Encoding)Sık geçen karakter çiftlerini birleştirerek alt kelime token'ları oluşturan yöntem.SentencePieceDilden bağımsız, ham metinden alt kelime token'ları üreten tokenizasyon kütüphanesi.Kelime DağarcığıVocabularyBir modelin tanıdığı tüm token'ların kümesi.Kelime Dağarcığı BoyutuVocabulary SizeTokenizer'ın tanıdığı farklı token sayısı; büyük dağarcık daha az token kullanır ama gömme tablosunu büyütür.TokenModelin metni işlerken kullandığı temel birim; bir kelime, kelime parçası, noktalama işareti veya karakter olabilir. İngilizcede bir token ortalama 4 karakter (yaklaşık ¾ kelime) iken eklemeli yapısı nedeniyle Türkçede kelime başına genelde 2–3 token düşer; bu, bağlam penceresini ve maliyeti doğrudan etkiler.TokenizerHam metni token dizisine ayrıştıran bileşen.

Ana Sayfa
YZ Haberleri
YZ Linkleri