HET PROBLEEM VAN DATACONTAMINATIE IN LLMs

Bij moderne Large Language Models (LLMs), zoals GPT-4, is er een ander probleem dat opduikt: datacontaminatie. Dit gebeurt wanneer de data die wordt gebruikt om een model te testen, per ongeluk al deel uitmaakt van de trainingsdata. Dit kan leiden tot misleidende resultaten, omdat het model iets herhaalt wat het al geleerd heeft, in plaats van echt nieuwe antwoorden te genereren.

Bij LLMs is datacontaminatie extra lastig vanwege de enorme hoeveelheden data waarop deze modellen worden getraind. In traditionele machine learning is het relatief eenvoudig om te voorkomen dat testdata in de trainingsdata terechtkomt, maar bij LLMs is dit een veel grotere uitdaging. Het is simpelweg te moeilijk om zeker te weten dat bepaalde testgegevens niet per ongeluk in de trainingscorpus zijn opgenomen. Hierdoor kunnen modellen soms ten onrechte goede resultaten laten zien, terwijl ze eigenlijk gewoon hun training herhalen.

Wat het extra lastig maakt, is dat het niet altijd duidelijk is of het model echt het juiste antwoord geeft, of gewoon iets herhaalt wat het eerder heeft gezien. Bovendien is er vaak onvoldoende transparantie over welke data precies is gebruikt om het model te trainen, waardoor het nog moeilijker wordt om datacontaminatie te identificeren en te voorkomen.

HOE RAG PIPELINESS HIER BETER MEE OMGAAN

In Retrieval-Augmented Generation (RAG) pipelines speelt dit probleem ook, maar er zijn manieren om de impact van datacontaminatie en irrelevante informatie te verminderen. Een RAG pipeline combineert het ophalen van externe informatie met de kracht van een generatief model. De effectiviteit van zo’n pipeline hangt sterk af van de kwaliteit van de opgehaalde documenten. Gelukkig zijn er een paar technieken die de prestaties kunnen verbeteren:

1. Contextual Document Embeddings (CDE): Onderzoekers van Cornell University hebben deze techniek ontwikkeld om de kwaliteit van documentembeddings te verbeteren. Traditionele embeddings—waarbij elk document afzonderlijk wordt behandeld—werken vaak niet goed als documenten veel op elkaar lijken, maar subtiele verschillen hebben. CDE maakt het model echter contextbewust door documenten te groeperen op basis van hun inhoud. Dit helpt het model om de kleine verschillen tussen de documenten te leren, wat zorgt voor betere zoekresultaten.
2. Document and Query Domain Alignment: Dit is een aanpak die ervoor zorgt dat documenten die inhoudelijk relevant zijn, beter aansluiten bij de query van de gebruiker. Een interessante techniek hiervoor is Hypothetical Document Embedding (HyDE). Hierbij genereert een LLM een hypothetisch document op basis van de zoekopdracht. Dit document hoeft niet helemaal correct te zijn, maar het bevat wel de juiste patronen om relevante informatie in de kennisdatabase te vinden. De embedding van dit gegenereerde document wordt vervolgens vergeleken met de documenten in de database, wat leidt tot betere zoekresultaten.
3. Hybride zoekmethoden: Door klassieke zoekmethoden zoals BM25 te combineren met embedding-gebaseerde zoekoplossingen, kun je de precisie van de zoekresultaten verbeteren. BM25 richt zich op trefwoorden en negeert veelvoorkomende woorden die vaak irrelevant zijn. Door deze klassieke methode te combineren met semantische zoekmethoden, krijg je een breder scala aan relevante documenten en verbeter je de nauwkeurigheid van de RAG pipeline.
4. Reranking: Zelfs bij goed ontworpen RAG pipelines is het mogelijk dat belangrijke documenten worden gemist. Reranking is een techniek waarbij de volledige tekst van opgehaalde documenten opnieuw wordt vergeleken met de query van de gebruiker. Dit helpt om de meest relevante documenten naar voren te halen. Hoewel dit extra verwerkingstijd kost, kan het de uiteindelijke output aanzienlijk verbeteren.