bugünün notları ✎

Teknoloji Notlarım

bölüm

Yapay Zekâ Terimleri

35 terim · token

Artık BağlantıResidual ConnectionKatman girdisinin çıktıya eklenmesi; derin ağlarda gradyan akışını kolaylaştırır.Bağlam PenceresiContext WindowModelin bir seferde işleyebildiği maksimum token sayısı.Bayt Çifti KodlamaBPE (Byte Pair Encoding)Sık geçen karakter çiftlerini birleştirerek alt kelime token'ları oluşturan yöntem.Çapraz DikkatCross Attentionİki farklı dizi arasındaki ilişkiyi hesaplayan dikkat türü (örn. kodlayıcı-kod çözücü arası).Çok Başlı DikkatMulti-Head AttentionDikkatin birden fazla paralel 'baş' ile hesaplanıp birleştirilmesi; her baş farklı ilişki türlerini yakalar.Dikkat BaşıAttention HeadÇok başlı dikkat içindeki tek bir bağımsız dikkat hesaplama birimi.Dikkat MekanizmasıAttentionModelin girdinin hangi kısımlarına odaklanacağını belirleyen mekanizma.Döner Konumsal KodlamaRoPE (Rotary Position Embedding)Konum bilgisini vektörleri döndürerek kodlayan, uzun bağlam genişletmeye elverişli konumsal kodlama yöntemi.FlashAttentionDikkat hesaplamasını GPU belleğine uygun biçimde yeniden düzenleyerek hız ve bellek kazancı sağlayan algoritma.Gizil UzayLatent SpaceVerinin sıkıştırılmış, soyut özelliklerini temsil eden çok boyutlu uzay.Gizli DurumHidden StateAğın ara katmanlarında tutulan sayısal temsil.GömmeEmbeddingKelime, cümle veya nesnelerin, anlamca benzer olanlar birbirine yakın düşecek şekilde sayısal vektörlerle temsil edilmesi; anlamsal arama, kümeleme ve RAG'in temelini oluşturur.Gruplu / Çoklu Sorgu DikkatiGQA / MQAAnahtar-değer başlarını paylaştırarak KV önbelleğini küçülten, çıkarımı hızlandıran dikkat varyantları.İleri Beslemeli AğFFN (Feed-Forward Network)Her transformer bloğunda dikkat katmanını izleyen, token bazında çalışan tam bağlantılı katman.Katman NormalizasyonuLayer NormalizationEğitimi kararlı hale getirmek için katman çıktılarının normalize edilmesi.Kayan Pencere DikkatiSliding Window AttentionHer token'ın yalnızca yakın bir pencere içindeki token'lara dikkat ettiği, uzun dizileri verimli işleyen yöntem.Kelime DağarcığıVocabularyBir modelin tanıdığı tüm token'ların kümesi.Kelime Dağarcığı BoyutuVocabulary SizeTokenizer'ın tanıdığı farklı token sayısı; büyük dağarcık daha az token kullanır ama gömme tablosunu büyütür.Konumsal KodlamaPositional EncodingTransformer'a token'ların sıralama bilgisini veren yöntem.LogitLogitsSoftmax uygulanmadan önceki ham model çıktı skorları.Model AğırlıklarıModel WeightsEğitim sırasında öğrenilen, modelin davranışını belirleyen sayısal parametreler.Öz DikkatSelf AttentionBir dizinin kendi içindeki token'lar arası ilişkileri hesaplayan dikkat türü.Özel Token'larSpecial Tokens (BOS/EOS/PAD)Dizinin başlangıcı, sonu, dolgu veya rol ayrımı gibi yapısal bilgileri taşıyan ayrılmış token'lar.ParametrelerParametersBir modelin öğrenilebilir tüm değişkenlerinin toplamı.Saniyedeki TokenTPS (Tokens per Second)Modelin çıkarım sırasında birim zamanda ürettiği token sayısı; hız ölçütü.SentencePieceDilden bağımsız, ham metinden alt kelime token'ları üreten tokenizasyon kütüphanesi.Seyrek / Doğrusal DikkatSparse / Linear AttentionDikkatin ikinci dereceden maliyetini azaltmaya yönelik yaklaşık dikkat türleri.SoftmaxHam skorları (logit) toplamı 1 olan olasılık dağılımına çeviren fonksiyon.Sohbet ŞablonuChat TemplateSistem, kullanıcı ve asistan mesajlarını modelin eğitildiği biçimde özel token'larla düzenleyen şablon.Sonraki Token TahminiNext Token PredictionDil modellerinin temel eğitim hedefi: verilen bağlamdan sonra gelecek token'ın olasılığını tahmin etmek.

tüm bölümler

Ana SayfaYZ HaberleriYZ TerimleriYZ Linkleri

konular

açık ağırlıklı modelanthropicapplebilimchatgptclaudecodexçingeminigooglegörsel üretimigrokkodlamametamicrosoftmusenvidiaopenaises ajanısiber güvenlikvideo üretimiyapay zekâ ajanlarıyapay zekâ güvenliğixai

takip et

YouTubeInstagramMMedium