Peaaegu iga ettevõtja, kellega AI-st räägin, jõuab sama küsimuseni: kui laadin oma lepingud, hinnakirjad või kliendiandmed AI-sse, kas need jõuavad kuskile mujale, kus keegi teine neid näeb või mudel need endasse „ära õpib”? See hirm on põhjendatud, sest tavalise ChatGPT veebiliidese kasutamine ettevõtte tundlike andmetega ei ole tark valik. Aga see ei tähenda, et peaksid AI-st loobuma. See tähendab, et vajad teistsugust ülesehitust.
Mis on RAG lihtsas keeles
RAG (retrieval-augmented generation ehk otsingul põhinev genereerimine) töötab teisiti, kui enamik inimesi arvab. Mudelit ei treenita sinu andmetel ümber. Selle asemel juhtub kolm asja iga küsimuse peale:
- Sinu dokumendid (lepingud, käsiraamatud, e-kirjad, hinnakirjad) on eelnevalt indekseeritud, ehk jagatud tükkideks ja talletatud viisil, mida saab kiiresti otsida.
- Kui keegi küsib küsimuse, otsib süsteem sellest indeksist täpselt need lõigud, mis on asjakohased, mitte kogu andmebaasi.
- Need leitud lõigud antakse mudelile kaasa küsimuse juurde kontekstina. Mudel loeb selle konteksti ja vastab selle põhjal, täpselt nagu sa ise annaksid kolleegile enne küsimuse esitamist mõned lehed lugeda.
Mudel ei „mäleta” sinu dokumente pärast vastuse andmist. Iga küsimuse juures moodustatakse kontekst uuesti, ainult sellest, mis on hetkel vajalik. See on põhimõtteline erinevus treenimisest: treenimisel andmed sulanduvad mudeli sisemisse struktuuri jäädavalt, RAG-i puhul jäävad andmed sinu enda süsteemi ja mudel näeb neid ainult ajutiselt, vastuse koostamise ajal.
Miks see andmeid firmast välja ei vii
Kaks ülesehitust teevad selle turvaliseks:
- Isemajutatud mudel. Mudel jookseb sinu enda serveris või sinu pilvekeskkonnas (nt sinu renditud serveris või EL-is asuvas pilves). Andmed ei lahku kunagi sinu infrastruktuurist, sest ka mudel ise on seal.
- Ettevõtte lepinguga API. Kui isemajutamine on liiga kulukas või keeruline, saab kasutada suure pakkuja (nt OpenAI, Anthropic) API-t ettevõtte lepingu alusel, kus lepingus on selgelt kirjas, et sinu andmeid ei kasutata mudeli treenimiseks ja neid ei säilitata kauem kui vaja. See on põhimõtteliselt erinev tasuta veebiliidese kasutamisest, kus selliseid garantiisid tavaliselt ei ole.
Mõlemal juhul jääb otsingu-indeks (see, kus su dokumendid tegelikult asuvad) sinu enda kontrolli alla, olgu see siis sinu server või sinu pilvekonto.
Mille jaoks see väikesele või keskmise suurusega ettevõttele päriselt kasulik on
- Sisemine teadmusotsing. Töötaja küsib „mis on meie tarneaeg Soome?” ja saab vastuse, mis on kokku pandud käsiraamatutest ja lepingutest, selle asemel et otsida kaustadest või küsida kolleegilt.
- Klienditoe vastuste mustandid. Süsteem loeb varasemaid pileteid ja dokumentatsiooni ning pakub vastuse mustandi, mille inimene üle vaatab ja saadab. See säästab aega, ilma et vastutus inimeselt kaoks.
- Dokumentide küsimused-vastused. Pikk leping, tehniline spetsifikatsioon või aruanne, kust vajad kiiresti üht konkreetset fakti, ilma et peaksid kõike ise läbi lugema.
Ühine joon on see, et mudel ei asenda inimest otsustajana, vaid kiirendab info leidmist. Tulemus jääb alati kontrollitavaks, sest saad näha, millisest dokumendist konkreetne vastus pärineb.
Millest alustada
Ei pea kohe ehitama tervet süsteemi. Mõistlik esimene samm on üks kitsas kasutusjuht (nt sisemine käsiraamatute otsing) ja väike dokumentide hulk, mille peal näed, kas tulemus on kasulik. Alles siis laiendad seda teistele valdkondadele.
Kui tahad aru saada, kas RAG-põhine lahendus sobib sinu ettevõttele ja millise ülesehitusega see kõige mõistlikum oleks, vaata AI ja masinõppe teenuseid või kirjuta mulle, milliste dokumentide ja küsimustega igapäevaselt kõige rohkem aega kulub. Vaatame koos, kas ja kuidas seda automatiseerida saab.