- Forespørselen kommer innTekst, bilde, lyd eller strukturerte data gjøres om til en form modellen kan behandle.
- Modellen beregnerProsessorene henter modellens parametere fra minnet og utfører beregningene som fører frem til resultatet.
- Resultatet byggesEn språkmodell bygger svaret trinn for trinn. Systemet rundt modellen kan kontrollere, begrense eller supplere det.
- Virksomheten bruker resultatetResultatet vises til en bruker eller sendes videre til en arbeidsprosess, et produkt eller en beslutning.
Kort forklart
En modell trenes før den tas i bruk. Under treningen justeres et stort antall parametere slik at modellen blir bedre til en bestemt type oppgave. Under inferens endres normalt ikke disse parameterne. Modellen bruker dem på en ny forespørsel.
En språkmodell deler først teksten i mindre enheter, ofte kalt tokens. Deretter beregner modellen hvilket token som bør følge det foregående. Beregningen gjentas til svaret er ferdig eller en grense er nådd. Det ferdige svaret kan se sammenhengende ut, selv om hvert trinn har krevd omfattende beregninger og flytting av data mellom minne og prosessorer.
Produktet består av mer enn modellen. Før forespørselen når frem, kan systemet hente dokumenter, kontrollere tilgangen eller legge til instrukser. Etterpå kan systemet filtrere eller logge resultatet. Et menneske kan vurdere det før det eventuelt sendes videre i en arbeidsprosess. Virksomheten må derfor skille mellom modellen og løsningen den faktisk setter i drift.
Hver forespørsel krever ny kapasitet
Treningen skjer i avgrensede perioder, selv når den krever betydelige ressurser. Inferens gjentas for hver forespørsel. Belastningen vokser med bruken og påvirkes av størrelsen på forespørslene, modellvalget og kravet til responstid. Systemet trenger også ledig kapasitet når etterspørselen er høy.
Antallet prosessorer er ikke alltid flaskehalsen. Modellens parametere og midlertidige data må flyttes raskt mellom minnet og regneenhetene. Noen oppgaver begrenses av hvor mye minne som er tilgjengelig, eller hvor raskt data kan hentes fra det. Responstid og energitilgang kan også sette grenser, særlig når mange bruker systemet samtidig.
Arkitekturen avgjør hvilke kostnader og avhengigheter virksomheten får. En liten modell på egen maskinvare gir en annen grad av kontroll enn en stor modell som virksomheten bruker gjennom et programmeringsgrensesnitt. Bruk av en lukket skytjeneste skaper andre bindinger.
Kommersielle konsekvenser
Virksomheten må vite hva som utløser kostnaden. Leverandøren kan prise etter bruk, reservert kapasitet eller infrastrukturen som må holdes i drift. Modellens størrelse sier derfor lite om kostnaden over tid hvis man ikke kjenner bruken. Antallet forespørsler, lengden på dem og kravene til responstid har stor betydning.
Leverandørvalget påvirker hvor lett løsningen senere kan flyttes. Integrasjoner og egne dataflyter kan bli tett knyttet til én modell eller plattform. Evalueringene og sikkerhetsmekanismene kan bli like tett bundet til samme plattform. Avtalevilkårene om tilgang, endringer, driftsstans og utfasing kan derfor veie like tungt som modellens målte ytelse ved anskaffelsen.
Behovet for kontroll må vurderes konkret. Egen drift kan gi mer teknisk kontroll, men organisasjonen overtar ansvaret for kapasitet, oppdateringer og sikkerhet. En ekstern tjeneste kan redusere driftsarbeidet, men gjør virksomheten mer avhengig av leverandørens grensesnitt og beslutninger. Valget bør bygge på hvordan løsningen skal brukes, og hva som skjer dersom den svikter.
Rettslige og politiske spørsmål
Under inferens behandler modellen faktiske inndata og produserer et resultat. Virksomheten må vite hvilke data som sendes inn, hvor behandlingen skjer, og om leverandøren kan bruke opplysningene til andre formål. Tilgangen til logger og mellomresultater må også avklares. Dette må undersøkes i systemarkitekturen, avtalene og reglene for den aktuelle virksomheten.
Virksomheten former risikoen når den bygger modellen inn i en løsning, fastsetter formålet og velger datakilder. Den bestemmer også hvordan resultatet skal påvirke mennesker. En rettslig vurdering må følge hele løsningen og den faktiske bruken, slik at roller og ansvar vurderes der beslutningene tas.
Hvor inferensen skjer, har også politisk betydning. Når noen få leverandører kontrollerer kapasiteten, får de innflytelse over pris og tilgang. De kan dessuten avgjøre hvilke bruksformer tjenesten støtter. Offentlige og private aktører må vurdere når dette er en vanlig kommersiell avhengighet, og når kapasitet, data eller kontinuitet berører beredskap og styring.