RAG-system för teknisk dokumentation

Utgångsläget

Ett svenskt tillverkningsbolag med fyra produktionsanläggningar hade samlat 15 års teknisk dokumentation i ett lapptäcke av SharePoint-mappar, PDF-bibliotek och utskrivna pärmar. Operatörer behövde information snabbt — ofta mitt i ett driftsstopp — men manuell sökning tog typiskt 10–20 minuter per fråga.

Tidigare försök att lösa det hade landat i två återvändsgränder: en föråldrad intranät-sökfunktion som ingen använde, och en halvfärdig Confluence-migrering som gjorde problemet större snarare än mindre.

Vad vi gjorde i förstudien

Två veckor förstudie. Vi inventerade dokumentationskällor, pratade med operatörer och tekniker om deras faktiska frågor, och testade tre olika embedding-strategier mot en delmängd av 500 dokument.

Förstudien landade i en skriftlig rekommendation: bygg ett RAG-system med hybrid search, men börja med en tydligt avgränsad pilot mot en produktionslinje istället för hela dokumentbiblioteket. Vi identifierade också att 30% av dokumenten var så dåligt strukturerade att de behövde processas innan de kunde matas in — det var en dold kostnad som vi flaggade tidigt.

Prototypen

Tre veckor. Vi indexerade 2 000 dokument från en pilot-linje, byggde en enkel webb-frontend, och satte upp mätning av sökkvalitet. Mätpunkter: precision på de första tre svaren, genomsnittlig tid från fråga till användbart svar, och operatörers subjektiva bedömning av svarskvalitet.

Resultatet från prototypen gjorde att vi tillsammans med klienten beslutade att fortsätta till produktion — men med justerad arkitektur. Hybrid search (vektor + BM25) slog ren vektorsök med betydande marginal, och vi bestämde att re-ranking skulle vara del av standard­flödet.

Produktionsbygget

Fem veckor. Full pipeline från SharePoint och nätverksmappar till vektordatabas, med automatisk om-indexering när dokument uppdateras. Monitoring av sökkvalitet, svarstid och kostnad per fråga. Admin-gränssnitt för att flagga felaktiga svar och triggern omindexering.

Vi byggde också in mänsklig oversight där operatörer kan markera svar som "inte till hjälp" och där data från detta går till återträning av re-ranking-modellen. Det gjorde systemet lärande utan att bli oförutsägbart.

Överlämning

All källkod, infrastruktur-as-code och teknisk dokumentation överfördes till kundens eget team. Runbook för felsökning och uppgraderingar ingick. Vi höll månatlig support-kontakt i tre månader efter go-live — därefter valde kunden att ta över fullt.