Yerel üretim hattı: 8-16 GB VRAM ile ne yapabiliyoruz?

"Belgeleri RAG ile mi versek, modelin uzun bağlamına mı sığdırsak?" sorusunu kendi doküman setimizde ölçtük.

Ne denedik?

• ~180 sayfalık ürün dokümanı + sık sorulan sorular
• Aynı soru seti iki koldan: (a) chunk'lanmış RAG, (b) tüm doküman tek bağlamda
• 7B ve 70B sınıfı iki model

Sonuç

• Küçük model + uzun bağlam: bağlam ortasındaki bilgileri kaçırma (lost in the middle) belirgin; ucuz ama güvenilmez.
• Büyük model + uzun bağlam: doğru, ama her sorguda tüm dokümanı taşımak maliyetli ve yavaş.
• RAG + orta model: maliyet en düşük, doğruluk büyük modele çok yakın — ama chunk'lama kalitesi her şey. Kötü chunk, iyi modeli bile bozuyor.

Bizim kararımız

Üretimde RAG + hibrit arama (vektör + anahtar kelime) kullanıyoruz; uzun bağlam yalnızca tek seferlik derin analizlerde. Bir ipucu: RAG'ın başarısını soru-cevap çiftleriyle değil, chunk'ların hangi soruyu tek başına cevapladığını denetleyerek ölçün.

Detaylı maliyet tablosunu sonraki yazıda paylaşacağız.

Aylardır kendi geliştirme akışımızda ajan (agent) tabanlı iş akışları kuruyoruz. Bazıları çöktü, bazıları günlük kullanıma girdi. Kalan kurallar:

1. Tek sorumluluk: her ajanın tek bir işi olsun — kod yaz, test et, incele. Karmaşık "her şeyi yapan" ajanlar hata ayıklamayı imkânsız hâle getiriyor.
2. Dar araç seti: bir ajana 20 araç vermeyin. 3-5 araç, modelin seçim yapma hatasını ciddi biçimde düşürüyor.
3. Geri dönüşümlü adım: her adım bir öncekine dönebilmeli. Diff uygulamadan önce inceleme, incelemeden önce geri alma — zincir hep kırılabilir olmalı.
4. Kısa bağlam: ajan bağlamını her turda tazeleyin. 200K token bağlam, dikkat dağılması demek.
5. Ölçülebilir bitiş: "bitti" yerine testin geçmesi, derlemenin temiz olması gibi sayısal bir kriter koyun.
6. Sesli düşünme yerine sesli plan: modelin niyetini yazdırın, sonra çalıştırın. Sessiz çalışan ajan yanlış yöne gittiğinde fark etmiyorsunuz.
7. İnsan kapısı: para, yayına alma ve silme işlemlerinde her zaman manuel onay.

Sonuç: daha az ajan, daha dar yetki, daha sık geri alma. Büyüklük değil, disiplin işe yarıyor.

Metinden videoya araçlarda denediğimiz onlarca üretimden sonra kaliteyi en çok yükselten beş ayar:

1. Kamera talimatını prompt'a yazın: "slow dolly-in, 35mm" gibi tek bir kamera hareketi, sahnenin izlenebilirliğini katlıyor. Serbest bırakınca araç rastgele zoom yapıyor.
2. Kısa çekim + kurgu: 4-6 saniyelik çekimler üretip birleştirmek, tek 15 saniyelik shot'tan çok daha temiz çıkıyor.
3. Referans görsel kullanın: tutarlı karakter/nesne istiyorsanız tek metin yetersiz; ilk karenin (first frame) görselini verin.
4. Negatif liste kısa tutsun: 3-5 madde yeterli. Uzun negatif listeler gölge ve ten tonlarını bozuyor.
5. Aynı seed + varyasyon: değişmeyecek unsurları sabit seed ile üretin, yalnız istenen unsuru değiştirin — seri üretimde tutarlılık bu şekilde geliyor.

Ek not

Üretim sonrası hızlı bir renk düzeltmesi + 24fps sabitleme, aracın çıktısını neredeyse her zaman daha profesyonel gösteriyor. Ham çıktıyı doğrudan yayına vermek en sık yaptığımız hata.