Retrieval-Augmented Generation (RAG): Özel Dokümanlar Üzerinde Vektör Veritabanları ve LLM Pipeline Mimarisi

RAG; vektör veritabanları ve LLM'leri birleştirerek özel dokümanları halüsinasyonsuz, güncel ve güvenli şekilde sorgulayan mimaridir.

Büyük Dil Modelleri (LLM – Large Language Models), milyarlarca parametreye dayanan geniş bilgi dağarcıklarıyla doğal dil işleme alanında devrim yaratmıştır. Ancak bu modellerin iki temel kritik sınırı bulunmaktadır: eğitildikleri veri tarihi itibarıyla statik kalmaları ve kurumların özel, gizli belgelerine varsayılan olarak erişememeleri. Bir modelden şirket içi bir sözleşmeyi analiz etmesi veya güncel teknik dokümanlara göre yanıt üretmesi istendiğinde, model ya yetersiz kalmakta ya da bilgi eksikliğini tamamlamak adına gerçek dışı içerikler üretebilmektedir (halüsinasyon / hallucination).

Bu problemi çözmek amacıyla geliştirilen Retrieval-Augmented Generation (RAG – Bilgi Getirimi ile Güçlendirilmiş Üretim) yaklaşımı, harici bilgi kaynaklarını dinamik olarak LLM üretim sürecine bağlayan güçlü bir mimari çerçevedir. RAG; kurumların özel belgelerini, veri tabanlarını ve anlık verilerini modelleri yeniden eğitmeye (fine-tuning) gerek kalmadan güvenli, hızlı ve maliyet etkin bir şekilde sorgulanabilir hale getirir.

RAG Mimarisinin Çalışma Prensibi ve Temel Bileşenleri

RAG pipeline’ı, bilginin kaynak dokümanlardan alınarak kullanıcının sorusuna nihai bir yanıt üretilmesine kadar uzanan iki ana evreden oluşur: İndeksleme (Indexing) ve Getirim-Üretim (Retrieval & Generation).

1. Veri Hazırlama ve İndeksleme Evresi

Kurum içinde yer alan PDF, Word, HTML, markdown veya veritabanı kayıtları gibi yapılandırılmamış veriler öncelikle işlenmeye hazır hale getirilir:

  • Doküman Ayrıştırma ve Parçalama (Chunking): Uzun metinler, anlamsal bütünlüklerini koruyacak şekilde daha küçük metin bloklarına (chunk) bölünür. Parçalama aşamasında blok boyutu (chunk size) ve örtüşme miktarı (chunk overlap) kritik role sahiptir. Çok küçük bloklar bağlam kaybına yol açarken, çok büyük bloklar gürültülü bilgi sunabilir.
  • Vektör Temsili (Text Embeddings): Elde edilen metin parçaları, özel gömme modelleri (embedding models) kullanılarak çok boyutlu sayısal vektörlere dönüştürülür. Bu vektörler, metnin yüzeysel kelime eşleşmelerinden ziyade anlamsal derinliğini (semantic meaning) temsil eder.
  • Vektör Veritabanına Kayıt: Oluşturulan vektörler, ilişkili orijinal metin blokları ve metadata (sayfa numarası, kaynak dosya adı, oluşturulma tarihi vb.) bilgileriyle birlikte vektör veritabanlarına indekslenir.

2. Sorgulama, Getirim ve Üretim Evresi

Kullanıcı bir soru sorduğunda uçtan uca akış şu adımlarla gerçekleşir:

  • Sorgu Vektörleştirme: Kullanıcının doğal dildeki sorgusu, indeksleme aşamasında kullanılan aynı embedding modeli ile vektör alanına taşınır.
  • Anlamsal Arama (Semantic Search): Vektör veritabanı, sorgu vektörüne matematiksel olarak en yakın (Cosine Similarity, Dot Product, Euclidean Distance) metin parçalarını tespit eder.
  • Bağlam Oluşturma (Context Enriched Prompting): Veritabanından çekilen en alakalı k adet metin parçası, kullanıcının orijinal sorgusuyla birleştirilerek LLM’e sunulacak bir istem (prompt) kalıbına dönüştürülür.
  • Yanıt Üretimi: LLM, yalnızca kendisine sağlanan bu bağlamı temel alarak kullanıcının sorusunu yanıtlar. Böylece üretilen yanıt tamamen kurumun doğruladığı belgelere dayanır.

Vektör Veritabanlarının Rolü: Pinecone ve Qdrant İncelemesi

RAG sistemlerinin kalbinde, milyonlarca yüksek boyutlu vektör arasında milisaniyeler seviyesinde arama yapabilen vektör veritabanları (Vector Databases) yer alır. Geleneksel ilişkisel veritabanları tam kelime eşleşmesine odaklanırken, vektör veritabanları Anlamsal En Yakın Komşu (ANN – Approximate Nearest Neighbor) algoritmalarını kullanır. Bu alanda öne çıkan iki ana aktör Pinecone ve Qdrant‘tır.

Pinecone: Tamamen Yönetilen Bulut Vektör Mimarisi

Pinecone, altyapı yönetimi gerektirmeyen, tamamen bulut tabanlı ve yüksek ölçeklenebilirlik sunan bir vektör veritabanıdır.

  • Kolay Entegrasyon ve Sıfır Bakım: Sunucu kurulumu, küme yönetimi veya donanım optimize etme ihtiyacını ortadan kaldırır. Geliştiriciler doğrudan API aracılığıyla vektör ekleme ve arama işlemlerini yürütür.
  • Yüksek Performans ve Düşük Gecikme: Milyarlarca vektör üzerinde dahi milisaniyeler içinde yanıt dönebilir. Otomatik ölçekleme mekanizması sayesinde yüksek trafikli kurumsal uygulamalar için idealdir.
  • Gelişmiş Metadata Filtreleme: Vektör araması yapılırken belirli tarih aralıkları veya yetki grupları gibi metadata kriterleri anlık olarak uygulanabilir.

Qdrant: Açık Kaynaklı ve Yüksek Verimli Vektör Arama Motoru

Qdrant, Rust dili ile geliştirilmiş, hem açık kaynak kodlu (self-hosted) hem de cloud olarak kullanılabilen ultra hızlı bir vektör arama motorudur.

  • Esnek Yaygınlaştırma Seçenekleri: Şirket verilerinin dışarı çıkmasını istemeyen kurumlar için on-premise veya özel Kubernetes kümeleri üzerinde çalıştırılma imkanı sunar.
  • Zengin Veri Tipleri ve Filtreleme: Qdrant, vektörlerle birlikte saklanan ek bilgileri (payload) son derece etkin bir şekilde indeksler. Vektör araması ile karmaşık filtreleme mantıklarını tek bir sorguda birleştirmede oldukça başarılıdır.
  • Rust Performansı: Bellek yönetimi ve eşzamanlı işlem kabiliyetleri sayesinde donanım kaynaklarını minimum düzeyde kullanarak maksimum sorgu hacmine ulaşır.

İleri Seviye RAG Mühendisliği ve Optimizasyon Teknikleri

Temel bir RAG mimarisi kurmak görece kolay olsa da, kurumsal ölçekte doğruluk ve hassasiyet yakalamak için ileri mühendislik teknikleri uygulanmalıdır.

  • Hibrit Arama (Hybrid Search): Yalnızca vektör tabanlı anlamsal arama yapmak, ürün kodları veya özel isimler gibi kesin kelime eşleşmesi gerektiren durumlarda yetersiz kalabilir. Vektör araması (Dense Retrieval) ile geleneksel anahtar kelime aramasının (Sparse Retrieval – BM25) birleştirilmesi arama kalitesini önemli ölçüde artırır.
  • Yeniden Sıralama (Reranking): Vektör veritabanından dönen ilk 20-30 sonuç, cross-encoder tabanlı bir Reranker modeli (örneğin Cohere Rerank) tarafından sorgu ile doğrudan karşılaştırılarak yeniden sıralanır. En yüksek alakaya sahip ilk 3-5 parça LLM’e iletilir.
  • Cevap Doğrulama ve RAG Triad: Sistemin başarısı üç temel metrik üzerinden değerlendirilir: Sorgunun çekilen bağlamla alakası (Context Relevance), üretilen cevabın bağlama sadakati (Groundedness) ve cevabın orijinal soruya uygunluğu (Answer Relevance).

Kurumsal Güvenlik ve Veri Gizliliği

Kurumsal veriler üzerinde RAG çözümleri uygulanırken veri mahremiyeti ve erişim kontrolü (RBAC) ilk sırada değerlendirilmelidir. Vektör veritabanlarında saklanan metadata alanlarına kullanıcı rolleri işlenerek, bir çalışanın yalnızca erişim yetkisi bulunan belgeler üzerinden arama yapması sağlanır. Ayrıca, açık kaynaklı yerel embedding modelleri ve kurum içi sunucularda çalışan LLM’ler (Llama, Mistral vb.) tercih edilerek, hassas verilerin üçüncü taraf API’lere aktarılmasının önüne geçilebilir.

Sık Sorulan Sorular

1. RAG ile Fine-Tuning (İnce Ayar) arasındaki temel fark nedir? Fine-tuning, bir dil modelinin parametrelerini belirli bir veri kümesiyle güncelleyerek modele yeni bir üslup, format veya alan uzmanlığı kazandırır. RAG ise modelin parametrelerini değiştirmeden, sorgu anında harici bir bilgi kaynağından güncel ve spesifik verileri modele bağlam olarak sunar. Özel veri sorgulama ve bilgi güncelleme ihtiyaçlarında RAG çok daha maliyetsiz ve güvenilirdir.

2. Vektör veritabanlarında Chunk Size (Parça Boyutu) nasıl seçilmelidir? Chunk boyutu metin türüne ve kullanım senaryosuna göre değişir. Genellikle 256 ile 1024 token arasındaki boyutlar tercih edilir. Teknik dokümanlar gibi yoğun bilgi içeren metinlerde daha küçük parçalar, anlatısal belgelerde ise bağlamı korumak adına daha büyük parçalar ve %10-20 oranında örtüşme (overlap) kullanımı önerilir.

3. Pinecone mu yoksa Qdrant mı tercih edilmelidir? Altyapı yönetimiyle uğraşmak istemeyen, hızlıca üretime geçmeyi hedefleyen ve tamamen bulut tabanlı bir mimari arayan ekipler için Pinecone idealdir. Veri gizliliği nedeniyle verilerini kendi sunucularında (On-Premise/Kubernetes) tutmak isteyen, açık kaynak esnekliği arayan ve gelişmiş payload filtrelemesine ihtiyaç duyan kurumlar için Qdrant daha uygundur.

4. RAG sistemlerinde halüsinasyon riski tamamen ortadan kalkar mı? RAG, halüsinasyon riskini büyük oranda azaltır ancak tamamen sıfırlamaz. Modelin sağlanan bağlamın dışına çıkmasını engellemek için sistem istemine (system prompt) “Yalnızca verilen metne göre cevap ver, bilgi yoksa bilmiyorum de” şeklinde katı talimatlar eklenmeli ve üretim sıcaklığı (temperature) düşük tutulmalıdır.

5. RAG mimarisinde vektör aramasını geliştirmek için hangi teknikler kullanılır? En etkili teknikler arasında anlamsal ve kelime bazlı aramayı birleştiren Hibrit Arama (Hybrid Search), arama sonuçlarını en alakalı duruma getiren Reranking (Yeniden Sıralama) ve kullanıcı sorgusunu genişleterek arayan Query Rewriting (Sorgu Yeniden Yazımı) yer alır.

İleri Okuma Tavsiyeleri ve Kaynaklar

  • Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS – RAG konseptinin ortaya çıktığı temel akademik makale.
  • Pinecone & Qdrant Technical Documentation: Vektör veritabanı indeksleme algoritmaları (HNSW) ve kurumsal mimari uygulama rehberleri.
  • LangChain & LlamaIndex Documentation: RAG pipeline’ları oluşturmak için kullanılan açık kaynaklı yazılım çatılarının resmi dokümantasyonları.
Osman Bayrak

Osman Bayrak

Girişimci, yapay zeka uzmanı, quant trader, analist, broker, fotoğrafçı...

Makaleler: 416