RAG Nedir? Şirket Belgeleriyle Çalışan Yapay Zeka Asistanı Nasıl Kurulur?

Büyük dil modelleri (LLM) genel bilgide oldukça başarılıdır; ancak şirketinizin iç prosedürlerini, ürün kataloğunu ya da sözleşme şartlarını bilmezler. Bilmedikleri bir konuda soru sorulduğunda ise kulağa doğru gelen ama yanlış yanıtlar üretebilirler. Bu soruna verilen en yaygın kurumsal çözümün adı RAG'dir.

RAG nedir?

RAG, İngilizce Retrieval-Augmented Generation ifadesinin kısaltmasıdır; Türkçeye "getirme destekli üretim" olarak çevrilebilir. Mantığı basittir:

1. Kullanıcı bir soru sorar.
2. Sistem, şirketinizin belge arşivinde bu soruyla en ilgili bölümleri bulur (getirme).
3. Bulunan bölümler soruyla birlikte dil modeline verilir.
4. Model, yanıtını yalnızca bu bölümlere dayanarak üretir ve kaynak gösterir (üretim).

Böylece model "ezberinden" değil, sizin güncel belgelerinizden yanıt verir.

Neden ince ayar (fine-tuning) yerine RAG?

Bilginin sık değiştiği ve "bu cevap nereden geldi?" sorusunun önemli olduğu kurumsal senaryolarda RAG genellikle daha doğru tercihtir.

Bir RAG sisteminin bileşenleri

1. Belge toplama ve parçalama

PDF, Word, e-posta, wiki sayfaları ya da veritabanı kayıtları toplanır ve anlamlı parçalara (chunk) bölünür. Parçalama kalitesi, yanıt kalitesini doğrudan etkiler: çok küçük parçalar bağlamı kaybeder, çok büyükler ise alakasız bilgi taşır.

2. Vektör temsili (embedding)

Her parça, anlamını temsil eden sayısal bir vektöre dönüştürülür. Böylece "iade süresi" diye arayan bir kullanıcı, belgede "geri gönderim için 14 gün" yazan bölümü de bulabilir; kelimeler aynı olmasa da anlam yakındır.

3. Vektör veritabanı

Vektörler, benzerlik araması yapabilen bir veritabanında saklanır. PostgreSQL için pgvector gibi eklentiler ya da özel vektör veritabanları kullanılabilir.

4. Dil modeli

Bulunan parçaları okuyup yanıtı üreten modeldir. Veri gizliliği gereksinimine göre bulut tabanlı bir model ya da şirket içinde çalışan açık kaynak bir model seçilebilir.

5. Yetki katmanı

Çoğu zaman gözden kaçan ama kurumsal kullanımda en kritik bileşendir. Kullanıcı, normalde erişemeyeceği bir belgenin içeriğini yapay zeka üzerinden de görememelidir. Bu nedenle arama aşamasında kullanıcının yetkileri mutlaka filtre olarak uygulanmalıdır.

Kurulum adımları

1. Kapsamı daraltın: İlk sürüm için tek bir belge kümesi seçin (ör. İK prosedürleri ya da teknik destek dokümanları).
2. Test soruları hazırlayın: Gerçek kullanıcıların soracağı 50–100 soru ve beklenen yanıtlarını listeleyin.
3. Parçalama ve aramayı ayarlayın: Test sorularıyla doğru belge bölümlerinin bulunup bulunmadığını ölçün.
4. Yanıt kalitesini değerlendirin: Yanıt doğru mu, kaynak gösteriyor mu, bilmediğinde "bilmiyorum" diyebiliyor mu?
5. Kontrollü yayına alın: Önce küçük bir kullanıcı grubuyla başlayın, geri bildirimle iyileştirin.

Hangi işlerde kullanılır?

• Çalışanların iç prosedür ve politika sorularına yanıt
• Müşteri destek ekipleri için bilgi bankası asistanı
• Teknik dokümantasyonda hızlı arama
• Sözleşme ve şartname incelemelerinde ilgili maddelerin bulunması

Veri gizliliği

RAG sistemleri, belgelerin tamamen şirket altyapısında kaldığı (air-gapped) bir mimariyle de kurulabilir. Bu durumda hem vektör veritabanı hem de dil modeli kendi sunucularınızda çalışır; hiçbir veri dışarı gönderilmez. Kişisel veri içeren belgelerde KVKK gereksinimleri tasarımın başında ele alınmalıdır.

Sonuç

RAG, büyük dil modellerinin gücünü şirketinize özgü bilgiyle birleştirmenin en pratik yoludur. Doğru parçalama, iyi bir yetki katmanı ve gerçek sorularla yapılan testler, başarılı bir kurulumun anahtarıdır.

Belgelerinizle çalışan bir yapay zeka asistanı kurmayı düşünüyorsanız yapay zeka çözümlerimizi inceleyin ya da bize ulaşın. Projeye nereden başlayacağınızı merak ediyorsanız kurumsal yapay zeka yol haritası yazımız da yardımcı olabilir.