AI - Möjligheter och begränsningar

GPT-modeller, även kända som Generative Pretrained Transformer-modeller har under den senaste tiden blivit ett hett ämne, mycket tack vare ChatGPT som introducerades i slutet av förra året. Men hur fungerar egentligen dessa modeller och vad finns det för möjligheter och begränsningar?

GPT-4 från OpenAI är just nu den mest kraftfulla generative språkmodellen som utvecklats tills idag. Den är tränad i två steg, i det initiala steget av träningen matas modellen med stora mängder text från internet vilket ger den en god förståelse för ord och språkstrukturer. Efter det första steget har modellen dock ingen förståelse av vad det innebär att till exempel svara på frågor. Nästa steg, Fine-tuning, är där modellen tränas på specifik data för att anpassa modellen till olika uppgifter och i detta fall till en chatbot som kan svara på frågor.

Generativa språkmodeller som GPT-4 har en bred uppsättning användningsområden, och de kan vara mycket kraftfulla verktyg i olika sammanhang. Till exempel för att utveckla avancerad kundsupport, en assistent för anställda eller en chatbot för rådgivning inom komplexa ämnen såsom medicinskt eller juridiskt.

Språkmodeller kan också användas som ett mångsidigt verktyg, till exempel för översättning av språk, korrekturläsning, analysering av komplex data eller en grund för inspiration.

Under sommaren har vi, tre studenter från Chalmers Tekniska Högskola utvecklat en produkt för Zenseact använder GPT-3.5, föregångaren till GPT-4. När en användare ställer en fråga till chatbotten så tas de mest passande källorna från företagets interna dokumentation med hjälp av dels embedding-teknik samt vår egen filtrerings-ekvation. Den här relevanta datan samt grundläggande information och frågan själv är givet till GPT-3.5 och ett svar genereras.

Men trots dessa imponerande möjligheter, kommer GPT-modeller med några begränsningar. För det första, även om de kan generera text som låter mänsklig, förstår modellen inte den verkliga innebörden bakom orden de producerar. Den saknar förmågan att förstå kontexten i det den skriver, vilket kan leda till missförstånd och felaktig information.

För det andra, eftersom GPT-modeller tränas på väldigt stora mängder data, finns risken att de reproducerar fördomar och stereotyper som finns med i datan som modellen tränats på. Detta kan leda till att de genererar text som är partisk eller stötande. En annan utmaning med dessa modeller är att de kräver enorma mängder data och beräkningskraft att träna. Detta gör dem svåra och dyra att använda på egen hand.

Det är viktigt att vi fortsätter att utveckla och förbättra dessa modeller, samtidigt som vi är medvetna om deras begränsningar och potentiella risker. I slutändan, som med all teknik, ligger ansvaret för hur GPT-modeller används hos oss.