Sluta använd LLMs som enterprise bolag!

Large Language Models - Ett verktyg, inte en lösning

I dagens företagsvärld är "AI" ett obligatoriskt begrepp i alla blogginlägg, säljmöten och framtidsdiskussioner. Men vad många företag egentligen syftar på när de säger AI är Large Language Models (LLMs). Dessa modeller, som t.ex. GPT-4, Gemini 1.5 och Claude 3, är kraftfulla verktyg som kan användas till en mängd olika uppgifter. Men det är viktigt att förstå att LLMs bara är ett verktyg, inte en lösning i sig. I detta blogginlägg kommer vi att utforska varför LLMs kanske inte alltid är den bästa lösningen för enterprise bolag och varför det är viktigt att se dem för vad de verkligen är.

Vad är LLMs?

LLMs är tränade modeller, som GPT-4, Gemini 1.5 och Claude 3, som används för att lösa en rad olika uppgifter. När en LLM tränas bearbetar den en enorm mängd textdata för att justera sina parametrar och förbättra sina förutsägelser och generering av text. Antalet parametrar i en LLM är oftast mycket stort, ofta i miljard- eller till och med biljardklassen. Varje parameter fångar en liten del av språklig information, som hur ord används tillsammans och meningsstruktur.

Med denna information kan man se de uppenbara fördelarna med dessa modeller. Tack vare den stora mängden träningsdata kan LLMs till exempel användas för att bygga intelligenta chatbots och virtuella assistenter som kan svara på vanliga frågor och förfrågningar från kunder. Detta kan avlasta mänsklig support och ge snabbare svar dygnet runt.

Problemen med LLMs för enterprise bolag

1. Större modell och mer data är inte alltid bättre

Det finns en tro att större modeller alltid är bättre. Ju fler parametrar och mer tränad data, desto bättre är modellen på att lösa problem och svara på frågor. Men för många specifika användningsfall, som beslut inom finans, hälso- och sjukvård eller spamdetektion, är mindre, mer specialiserade modeller ofta mer effektiva. Tänk på det såhär: Du skulle aldrig använda en gigantisk skiftnyckel för att lossa en liten mutter. Med andra ord, om du vill lösa ett nischat problem, så behöver du en modell som är tränad för detta, inte en generisk modell som testar alla möjliga scenarion.

2. Resurskrävande och kostsamt

Att träna en egen LLM kräver enorma resurser. Kostnaden kan lätt överstiga nyttan, särskilt för mindre företag. För att sätta kostnaden i perspektiv så kostade det OpenAI cirka 5 miljoner dollar bara i GPU-kostnader för att träna GPT-3. En modell som dessutom visade sig inte vara särskilt användbar i nischade och specialiserade industriella sammanhang.

3. Latency problematik

LLMs krav på resurser kan också skapa problem med latens. När du genererar en text eller liknande med hjälp av en LLM blir de flesta imponerade av hastigheten. Däremot, om du exempelvis har en realtidsapplikation, som ett realtidsspel, kan denna latens vara oacceptabel. Spelare förväntar sig omedelbara svar från NPCs (icke-spelbara karaktärer) för att kunna fatta beslut och spela utan avbrott. Om en LLM tar några sekunder på sig att generera ett svar kan detta leda till frustration.

4. Anpassningssvårigheter

Storleken på dessa modeller presenterar ytterligare en svårighet för enterprise bolag. Om du vill uppdatera modellen i linje med nya best practices eller ny kunskap kan denna "fine tuning" kräva enorma resurser i form av tid och pengar. Vissa branscher, som hälso- och sjukvård, efterfrågar också ofta insyn i hur en LLM kommit fram till ett beslut, vilket inte alltid är självklart. Det kan också vara svårt att veta om modellen varit tveksam över sitt svar och egentligen kanske hade behövt ett andra utlåtande för att ge ett säkert svar.

Vad kan man göra istället?

Specialiserade modeller

En lösning istället för att använda LLMs är att använda sig av specialiserade modeller, även kallade "purpose-built" modeller. Att träna en modell med ett specifikt syfte kommer med en rad olika fördelar:

• Kräver mindre resurser vilket gör dem mer tillgängliga för olika typer av företag.

• Kräver också en mindre investering vilket minskar risken för att kostnaden överstiger nyttan.

• Eftersom modellen är mindre leder detta till mindre latens och större flexibilitet gällande ändringar och nya iterationer.

• Den mer simplifierade infrastrukturen gör också modellens beslutstransparens bättre.

Hybridlösningar

En annan lösning är att se på LLMs som en del av en större lösning, snarare än en lösning på egen hand. Med andra ord, en hybridlösning. Nedan illustreras hur detta skulle kunna se ut i praktiken.

Om vi tar vårt realtidsspel som exempel, kan man använda ett regelbaserat filtreringssystem för standardfrågor eller enkla kommandon för att minska latens. En LLM kan sedan hantera frågor som kräver längre, mer komplexa svar. Slutligen kan en specialiserad AI hantera taligenkänning där spelarens tal bearbetas av en tal-till-text modul. Att använda en LLM på detta sätt, som en del av en större lösning tillsammans med andra AI-tekniker, leder till en lösning med hög tillförlitlighet, prestanda och kostnadseffektivitet.

Avslutning

I detta blogginlägg har vi diskuterat användningen av Large Language Models (LLMs) i företag och varför dessa kraftfulla verktyg inte alltid är den bästa lösningen. Modeller som GPT-4 och Claude 3 kan hantera en stor mängd textdata och är användbara för att bygga intelligenta chatbots och virtuella assistenter. Dock finns det flera problem med att använda LLMs i enterprise bolag.

För det första är större modeller och mer data inte alltid bättre. För specifika uppgifter, som inom finans eller hälso- och sjukvård, är mindre och mer specialiserade modeller ofta mer effektiva. För det andra är det resurskrävande och kostsamt att träna en egen LLM, vilket kan överstiga nyttan, särskilt för mindre enterprise bolag.

Som alternativ till LLMs kan företag använda mindre, specialiserade modeller som kräver mindre resurser, är mer kostnadseffektiva och lättare att anpassa. En annan lösning är att se på LLMs som en del av en större lösning, tillsammans med andra AI-tekniker, för att skapa mer tillförlitliga och kostnadseffektiva system.

I slutändan handlar det om att se över vad det är för problem man faktiskt försöker lösa. Vilken flexibilitet behöver du? Vilken domän-specifik kunskap krävs? Vilken användarupplevelse förväntas? Alla dessa frågor kommer påverka ditt val av lösning.

Känner du dig osäker på vad bästa lösningen för dig? Hör av dig till oss!

info@altostruct.se