Hoe Valcon ProRail hielp om de waarde van LLM’s binnen een week te demonstreren
De ontwikkeling van large language models (LLM’s) is de afgelopen jaren enorm toegenomen. Hierdoor stellen veel organisaties zichzelf de vraag: “Hoe kunnen we profiteren van LLM’s?” Voordat u echter aan de slag gaat met LLM’s, is het essentieel om de juiste use cases te begrijpen – de gebieden binnen een organisatie waar LLM’s de meeste bedrijfswaarde toevoegen. Dit voorkomt teleurstellende resultaten, producten die niet voldoen en verloren investeringen.
Waarom een proof of concept belangrijk is
Korte ‘proof of value’-projecten kunnen organisaties enorm helpen om de voordelen van LLM’s te begrijpen. Het aantonen van bedrijfswaarde is niet alleen een technische aangelegenheid. Het implementeren van LLM-toepassingen brengt aanzienlijke procesveranderingen met zich mee. De implementatie moet daarom afgestemd zijn op managementstrategieën, de betrokkenheid van eindgebruikers en het trainen van gebruikers in nieuwe vaardigheden.
LLM’s in actie bij ProRail
ProRail, de Nederlandse spoorwegbeheerder, wilde graag de waarde van LLM’s onderzoeken. Daarom startten ze vijf proof of concept- of zogenaamde ‘pressure cooker’-projecten om de waarde van LLM’s voor verschillende bedrijfsprocessen binnen hun organisatie te onderzoeken. Valcon werd gevraagd om een van deze projecten uit te voeren.
LLM’s in de spoorwegsector
ProRail is verantwoordelijk voor het opstellen en handhaven van richtlijnen voor een veilige en toegankelijke inrichting van spoorwegstations in Nederland. Deze ontwerprichtlijnen beschrijven bijvoorbeeld de minimale breedte van een perron, de hoeveelheid vrije ruimte voor een lift en de benodigde ruimte voor fietsparkeerplaatsen.
Samen met duizenden andere documenten worden deze ontwerprichtlijnen opgeslagen in een grote database: de Rail Infra Catalogue (RIC). Aannemers, architecten en inspecteurs raadplegen deze database regelmatig om de informatie te vinden die ze nodig hebben.
De omvang van de database en de beperkte zoekfunctionaliteit belemmerden echter dat gebruikers snel de juiste informatie konden vinden. ProRail wilde onderzoeken hoe LLM’s de RIC konden verbeteren en vroeg Valcon om een pressure cooker-project te starten om te beoordelen hoe een LLM informatie-opvraging binnen de RIC zou kunnen verbeteren.
Maak kennis met RICO, de chatbot
Binnen slechts één week ontwikkelde Valcon – met een team van dataspecialisten en change consultants – RICO, een chatbotprototype dat vragen kon beantwoorden over enkele ontwerprichtlijnen in de RIC. RICO is een zogenaamde RAG-chatbot. RAG staat voor Retrieval Augmented Generation en volgt een tweestapsbenadering bij het beantwoorden van gebruikersvragen. Eerst zoekt RICO naar relevante passages in de railcatalogus die de benodigde informatie bevatten. Vervolgens beantwoordt een LLM de vraag op basis van de opgehaalde passages.
Als een gebruiker bijvoorbeeld vraagt naar de minimale breedte van een perron, identificeert RICO de secties in de catalogus die hierover gaan en genereert vervolgens een eenvoudig te begrijpen antwoord dat de vraag beantwoordt.
Hoewel RICO lijkt op ChatGPT, is het belangrijkste verschil dat RICO alleen informatie uit de catalogus gebruikt voor zijn antwoorden en weigert vragen te beantwoorden die buiten zijn scope vallen.
Waarde snel aantonen
Na één week demonstreerde Valcon RICO aan eindgebruikers om de bedrijfswaarde te laten zien. RICO kon de meeste vragen correct beantwoorden en was in staat om dubbelzinnige en voorwaardelijke informatie in de documenten te identificeren en uit te leggen. Om informatie te valideren, bevat RICO verwijzingen naar de originele, relevante passages in zijn antwoorden. Eindgebruikers vonden RICO een aanzienlijke verbetering ten opzichte van de bestaande zoekmachine.
Valcon identificeerde ook kansen voor verbetering en wees op de risico’s van grootschalige implementatie. Ten eerste zou RICO profiteren van een verbeterd documentmanagementsysteem. Dit zou tijd en moeite kosten, maar uiteindelijk de kwaliteit van de antwoorden verhogen.
Daarnaast kan, ondanks de verbeteringen ten opzichte van de bestaande zoekmachine, de 100% nauwkeurigheid van RICO’s antwoorden niet worden gegarandeerd vanwege zijn probabilistische aard. Gebruikers moeten zich ervan bewust zijn dat ze de relevante passages in de RIC moeten raadplegen om de antwoorden van RICO te bevestigen. Dit benadrukt het belang van het betrekken van eindgebruikers bij demonstraties en testsessies tijdens de ontwikkeling.
Bedrijfswaarde
De productieve samenwerking tussen ProRail en Valcon toont duidelijk de waarde aan van de pressure cooker-aanpak bij het snel valideren van innovatieve LLM-oplossingen. Een pressure cooker-project is een risicoloze manier voor organisaties om snel inzicht te krijgen in de impact van AI op een organisatie en de bedrijfswaarde die het kan creëren.
Meer informatie
Wilt u meer weten over hoe large language models uw bedrijfsprocessen kunnen ondersteunen en over chatbot pressure cookers? Neem contact op met Bosse Zwerink van Valcon.
