Privāts MI uzņēmumam: valodas modeļi bez datu sūtīšanas mākonī

Privāts MI uzņēmumam vajadzīgs, ja līgums, iekšējā politika vai drošības prasības neļauj dokumentus augšupielādēt mākoņa pakalpojumos: tehniskajai dokumentācijai un rasējumiem, aizsardzības un dual-use projektiem, personāla un finanšu datiem. Ja datus drīkst apstrādāt mākoņa pakalpojums saskaņā ar līgumu, pietiek ar mākoņa modeli.

Otrs iemesls ir izsekojamība. Uzņēmumiem ar ISO sertifikāciju un auditiem ir svarīgi, lai katrai MI atbildei būtu avots — dokuments, revīzija, statuss, lapa — un lai katrs jautājums būtu ierakstīts audita žurnālā. Privātā MI sistēmā gan avoti, gan žurnāli paliek uzņēmuma serverī.

Starp abiem variantiem ir starpposms: mākoņa modelis ar anonimizēšanu. Pirms teksts nonāk pie modeļa, personas dati — vārdi, personas kodi, e-pasti, tālruņi, kontu numuri, adreses — tiek aizstāti ar marķieriem, un atbilstības tabula glabājas tikai uzņēmuma serverī. Kā tas uzbūvēts, aprakstīts lapā infrastruktūra un datu drošība.

Privāts MI atbild uz jautājumiem, vispirms meklējot jūsu dokumentu indeksā fragmentus, kurus jautātājam ir tiesības redzēt, un tikai pēc tam nododot tos valodas modelim, kas uzraksta atbildi ar atsauci uz dokumentu, revīziju un lapu. Ja apstiprināta avota nav, sistēma to pasaka, nevis izdomā atbildi.

Indeksēšanu veic plānots serviss, nevis valodas modelis. Serviss skenē izmaiņas, nolasa teksta slāni vai veic OCR, saglabā tabulu struktūru, nosaka dokumenta numuru, revīziju un statusu, sadala tekstu fragmentos un izveido vektorus. social.tech privātā MI risinājumā vektorus veido modelis BGE-M3, kas vienā modelī aptver latviešu, krievu un angļu valodu: jautājums krievu valodā atrod dokumentu angļu valodā.

Sistēmā ir divas ķēdes. Zināšanas — specifikācijas, protokolus, rokasgrāmatas — meklē pēc nozīmes indeksā. Autoritatīvās vērtības — atlikumu, apstiprināto revīziju, aktuālo BOM — sistēma paņem no ERP vai PDM jautājuma brīdī, un modelis ieliek vērtību teikumā nemainītu. Ja vērtībai ir avota sistēma, jautā tai; modelis skaitļus nerēķina un neatceras.

Valodas modeli neapmāca uz uzņēmuma dokumentiem, jo zināšanas modeļa svaros nevar ierobežot ar piekļuves tiesībām, nevar izdzēst pa vienam dokumentam un nevar citēt. Tāpēc privātā MI sistēmā zināšanas glabājas versionētā indeksā, un modelis tikai apstrādā tekstu, ko tam nodod jautājuma brīdī.

Indeksa pieeja atrisina trīs praktiskus jautājumus. Ja dokuments tiek atjaunināts, indeksā mainās tikai tā fragmenti. Ja darbiniekam atņem piekļuvi projektam, nākamajā jautājumā viņš šī projekta fragmentus vairs nesaņem. Ja jāpierāda, no kurienes nāk atbilde, katram fragmentam ir dokuments, revīzija un lapa.

Dokumenta statusam ir liela nozīme. Ja neviens avots nedod drošu revīzijas vai statusa vērtību, dokuments tiek indeksēts ar atzīmi «statuss nav noteikts», rādīts zemāk par apstiprinātajiem un nonāk administratora pārskatā. Neapstiprināts melnraksts atbildē netiek izmantots kā aktuāls dokuments.

Privātā MI sistēmā piekļuves tiesības tiek piemērotas meklēšanas vaicājuma iekšā, nevis kā filtrs pār rezultātiem. Saturu, kas izņemts pēc meklēšanas, modelis jau ir izlasījis, un tas var parādīties pārfrāzējumā arī bez atsauces; ja slēgtās rindas netiek atlasītas vispār, modelis saņem tikai atļauto saturu.

Katram fragmentam ir piekļuves profils, un profilus piešķir mapēm un koplietnēm. Tiesību maiņa tāpēc nozīmē vienas rindas maiņu, nevis pārindeksēšanu, un cilvēka pievienošana vai noņemšana grupai iedarbojas uzreiz, jo tiesības tiek noteiktas jautājuma brīdī.

Otrā aizsardzības līnija ir avota sistēma: izsaukumi uz ERP un PDM iet lietotāja vārdā, tāpēc avota sistēma piemēro arī savas tiesības. Slēgtie projekti glabājas atsevišķā kolekcijā ar principu «deny by default», un atbildes netiek kešotas starp lietotājiem, jo kešatmiņa noplūdinātu saturu pāri tiesību robežām.

To, ka dati neiziet no servera, pārbauda ar datplūsmas tveršanas testu pieņemšanā: tests parāda, ka no servera ārā neiziet nekas. Priekšnosacījums ir arhitektūra, kurā izejošā datplūsma ir aizvērta ugunsmūrī un neviena komponente darbības laikā neprasa internetu vai licences pārbaudi tiešsaistē.

Modelim privātajā MI sistēmā nav tīkla, nav piekļuves datiem un nav savienojuma ar datubāzi: modelis saņem tekstu un atdod tekstu. Tiesības pārbauda tikai orķestrators — vadības serviss, kas ir vienīgais ar piekļuvi uzņēmuma sistēmām. Modelis nevar apiet tiesības, jo tam nav ko apiet.

Modeļi ar atvērtiem svariem un Apache 2.0 licenci darbojas bez licenču servera un lietojuma atskaitēm. Komponentu versijas ir fiksētas pēc kriptogrāfiskā hash, perimetra iekšā nekas netiek lejupielādēts, un monitorings — GPU, atbildes laiks, indeksēšanas kļūdas — tiek savākts un rādīts lokāli. Sīkāk par visu arhitektūru — lapā privāts MI jūsu serveros.

Privātam MI minimāli vajadzīgs viens serveris ar vienu NVIDIA RTX PRO 6000 96 GB grafisko karti korpusā 2–4 kartēm; otro karti var pievienot vēlāk bez arhitektūras izmaiņām. social.tech risinājumā galvenais modelis ir gpt-oss-120b, kas aizņem aptuveni 65 GB un apkalpo gan čatu, gan kodu.

Karti izvēlas pēc modeļa izmēra. Galvenais modelis aizņem aptuveni 65 GB, un vēl vieta vajadzīga apstrādājamajiem dokumentiem. Mazākā kartē ietilpst tikai ievērojami vājāks modelis. 96 GB kartē neietilpst modeļi virs 200B un 70B modeļi FP16 formātā.

Ar vienu karti lielo modeli un atsevišķu koda modeli vienlaikus ielādēt GPU atmiņā nevar, un vektori tiek rēķināti uz CPU, tāpēc masveida pārindeksēšana ir lēnāka. Otrā karte dod vietu atsevišķam koda modelim un vektoriem uz GPU, bet čatu nepaātrina, jo galvenais modelis abos variantos strādā uz vienas kartes.

Privātajam MI ir arī ierobežojumi, kurus jāzina pirms lēmuma. Atvērtie modeļi latviešu valodā raksta vājāk nekā angļu vai krievu valodā, tāpēc kvalitāti mēra pilotā. Sistēma neinterpretē rasējumu ģeometriju, ģenerēti dokumenti ir melnraksti, kurus pārbauda un paraksta inženieris, un slikti skenējumi ir visneparedzamākā daļa.

Ar privāto MI var sākt divos veidos: ar 8 nedēļu pilotu nomātā fiziskā serverī ES datu centrā ar ISO 27001 sertifikātu, neko nepērkot, vai uzreiz uzņēmuma perimetrā ar aptuveni 6 nedēļu Posmu 0. Slēgtiem un aizsardzības datiem nomātā servera pilots neder.

Pilotā nomātā serverī ir divas strādājošas funkcijas un ierobežots dokumentu kopums: 2–3 pabeigti projekti, aptuveni 500–2 000 failu, 2–3 lietotāji un viens novērotājs. Pirmā funkcija sagatavo dokumentu komplektu pēc uzņēmuma veidnes, otrā meklē arhīvā pēc nozīmes ar atsauci uz dokumentu, revīziju un lapu.

Nomātajā serverī dokumenti nonāk šifrētā konteinerā pa tuneli, kuru atver uzņēmuma puse, un glabājas šifrētā sējumā. Pēc pilota platformu pārnes uz uzņēmuma serveri bez pārbūves, jo tie paši konteineri darbojas abās vietās. Ja risinājums neder, darbs beidzas, un analīze paliek uzņēmumam.

Ceļā uzreiz uzņēmuma perimetrā Posmam 0 ir izmērāmi pieņemšanas kritēriji: zelta jautājumu kopa, tiesību noplūdes tests no lietotāja ar vismazākajām tiesībām, vienlaicīgo sesiju mērījums un izejošās datplūsmas tests. Pēc lēmuma punkta seko 1. fāze 14–16 nedēļās ar diviem produkcijas laidieniem un 4 nedēļu pēcieviešanas atbalsts.