Akışa dön

RAG mı uzun bağlam mı? İkisini de denedik, sonuç net

MucaAIDoğrulanmış hesap@mucaaicom

"Belgeleri RAG ile mi versek, modelin uzun bağlamına mı sığdırsak?" sorusunu kendi doküman setimizde ölçtük.

Ne denedik?

  • ~180 sayfalık ürün dokümanı + sık sorulan sorular
  • Aynı soru seti iki koldan: (a) chunk'lanmış RAG, (b) tüm doküman tek bağlamda
  • 7B ve 70B sınıfı iki model

Sonuç

  • Küçük model + uzun bağlam: bağlam ortasındaki bilgileri kaçırma (lost in the middle) belirgin; ucuz ama güvenilmez.
  • Büyük model + uzun bağlam: doğru, ama her sorguda tüm dokümanı taşımak maliyetli ve yavaş.
  • RAG + orta model: maliyet en düşük, doğruluk büyük modele çok yakın — ama chunk'lama kalitesi her şey. Kötü chunk, iyi modeli bile bozuyor.

Bizim kararımız

Üretimde RAG + hibrit arama (vektör + anahtar kelime) kullanıyoruz; uzun bağlam yalnızca tek seferlik derin analizlerde. Bir ipucu: RAG'ın başarısını soru-cevap çiftleriyle değil, chunk'ların hangi soruyu tek başına cevapladığını denetleyerek ölçün.

Detaylı maliyet tablosunu sonraki yazıda paylaşacağız.

İlgili gönderiler

MucaAIDoğrulanmış hesap@mucaaicom

Kendi makinelerimizde 8-16 GB VRAM aralığında çalışıyoruz. Hangi işin nerede yapılacağına dair net bir ayrım oturdu.

Yerelde iyi çalışanlar

  • Metin: 7-14B sınıfı modeller quant (Q4/Q5) ile günde binlerce kısa üretim için fazlasıyla yeterli — ürün metni, isimlendirme, kod tamamlama
  • Görsel: 1024px görselleri yerelde üretmek mümkün; tek görsel 10-30 sn
  • Özetleme / sınıflandırma: gecikme ve maliyet duyarlı işler için ideal

Bulutta kalanlar

  • Video: diffusion video hâlâ yerelde pratik değil (VRAM ve süre)
  • Büyük görsel setleri: aynı anda 20+ varyant gereken A/B testlerde bulut paralelliği kazanıyor
  • Uzun bağlam + büyük model: yalnızca kritik analizlerde

Kurulum notları

  • Kaydırmalı katman + doğru quant, 16 GB'lık kartı beklenenden çok daha verimli kullanıyor
  • Aynı makinede hem üretim hem oyun/derleme varsa, modeli ayrı bir kullanıcı (service) altında tutmak çöküşleri izole ediyor
  • Yerel = gizlilik avantajı; müşteri verisi asla dışarı çıkmıyor

Özet: günlük metin ve görsel işlerinin çoğu tek bir yerel kutuda; video ve paralel büyük işler hâlâ bulutta.

MucaAIDoğrulanmış hesap@mucaaicom

Aylardır kendi geliştirme akışımızda ajan (agent) tabanlı iş akışları kuruyoruz. Bazıları çöktü, bazıları günlük kullanıma girdi. Kalan kurallar:

  1. Tek sorumluluk: her ajanın tek bir işi olsun — kod yaz, test et, incele. Karmaşık "her şeyi yapan" ajanlar hata ayıklamayı imkânsız hâle getiriyor.
  2. Dar araç seti: bir ajana 20 araç vermeyin. 3-5 araç, modelin seçim yapma hatasını ciddi biçimde düşürüyor.
  3. Geri dönüşümlü adım: her adım bir öncekine dönebilmeli. Diff uygulamadan önce inceleme, incelemeden önce geri alma — zincir hep kırılabilir olmalı.
  4. Kısa bağlam: ajan bağlamını her turda tazeleyin. 200K token bağlam, dikkat dağılması demek.
  5. Ölçülebilir bitiş: "bitti" yerine testin geçmesi, derlemenin temiz olması gibi sayısal bir kriter koyun.
  6. Sesli düşünme yerine sesli plan: modelin niyetini yazdırın, sonra çalıştırın. Sessiz çalışan ajan yanlış yöne gittiğinde fark etmiyorsunuz.
  7. İnsan kapısı: para, yayına alma ve silme işlemlerinde her zaman manuel onay.

Sonuç: daha az ajan, daha dar yetki, daha sık geri alma. Büyüklük değil, disiplin işe yarıyor.

MucaAIDoğrulanmış hesap@mucaaicom

Metinden videoya araçlarda denediğimiz onlarca üretimden sonra kaliteyi en çok yükselten beş ayar:

  1. Kamera talimatını prompt'a yazın: "slow dolly-in, 35mm" gibi tek bir kamera hareketi, sahnenin izlenebilirliğini katlıyor. Serbest bırakınca araç rastgele zoom yapıyor.
  2. Kısa çekim + kurgu: 4-6 saniyelik çekimler üretip birleştirmek, tek 15 saniyelik shot'tan çok daha temiz çıkıyor.
  3. Referans görsel kullanın: tutarlı karakter/nesne istiyorsanız tek metin yetersiz; ilk karenin (first frame) görselini verin.
  4. Negatif liste kısa tutsun: 3-5 madde yeterli. Uzun negatif listeler gölge ve ten tonlarını bozuyor.
  5. Aynı seed + varyasyon: değişmeyecek unsurları sabit seed ile üretin, yalnız istenen unsuru değiştirin — seri üretimde tutarlılık bu şekilde geliyor.

Ek not

Üretim sonrası hızlı bir renk düzeltmesi + 24fps sabitleme, aracın çıktısını neredeyse her zaman daha profesyonel gösteriyor. Ham çıktıyı doğrudan yayına vermek en sık yaptığımız hata.