Examensarbete: Lokalt driftsatta eller molntjänstbaserade språkmodeller – en break-even-analys

Övergripande beskrivning

Detta examensarbete syftar till att undersöka när det lönar sig för en organisation att köra en språkmodell med öppna vikter på egen infrastruktur, jämfört med att betala per token för en hanterad molntjänst. Hanterade tjänster har inga fasta kostnader och skalar efter behov. Egen drift innebär däremot en i stort sett fast kostnad som bara lönar sig när hårdvaran utnyttjas tillräckligt. De flesta jämförelser utgår från jämn belastning och jämför prislistor. Då döljs effekten av ojämn trafik i verkligheten, och det tas sällan hänsyn till att olika modeller kan ge olika kvalitet. Arbetet ska utforska vid vilken användningsnivå, och för vilka typer av arbetslaster, egen drift blir motiverad.

Projektbeskrivning

Projektet kommer att innebära att jämföra två eller flera driftsalternativ för samma arbetslast, exempelvis en hanterad språkmodell via en molntjänst och en modell med öppna vikter som körs på GPU-instanser i molnet eller på egen hårdvara. Alternativen utvärderas på en eller två definierade uppgifter, exempelvis sammanfattning eller frågor och svar kring dokument. Testerna drivs med realistisk och ojämn trafik, exempelvis genom att spela upp publikt tillgängliga användningsloggar. Studenten har stort utrymme att själv välja modeller, uppgifter, metoder och avgränsningar.

Forskningen kommer att fokusera på att mäta kostnad, latens, genomströmning och kvalitet på svaren, och att utifrån resultaten ta fram en kostnadsmodell som visar var break-even-punkten ligger beroende på utnyttjandegrad och trafikmönster. Kostnadsmodellen kombineras med faktorer som inte rör kostnad, exempelvis dataskydd, regelefterlevnad och driftsinsats, till ett ramverk som kan stödja beslut. Eftersom priser och modeller förändras snabbt ska metoden och kostnadsmodellen vara återanvändbara, så att de kan uppdateras över tid.

Vem söker vi?

• Masterutbildning inom datateknik, datavetenskap, teknisk fysik eller närliggande område
  
• Inriktning mot maskininlärning, molnbaserad utveckling eller prestandautvärdering är meriterande
  
• Examen i juni 2027
  
• Flytande svenska i tal och skrift
  
• Flytande engelska i tal och skrift
  

Syfte

Syftet med examensarbetet är att skapa en djupare förståelse för hur kostnad, prestanda och kvalitet förhåller sig till varandra när språkmodeller körs i egen regi jämfört med via hanterade molntjänster. Arbetet förväntas resultera i en reproducerbar jämförelse, en återanvändbar kostnadsmodell och ett beslutsramverk. Resultatet kan ge organisationer bättre underlag för att avgöra när det är rimligt att köra språkmodeller själva och när hanterade tjänster är att föredra.

En spännande resa med Knightec Group

Knightec Group är idag en av Norra Europas ledande strategiska partners inom produkt- och digital tjänsteutveckling - hur häftigt är inte det?

Genom att förena ingenjörskompetens, digital expertis och affärsförståelse hjälper vi våra kunder att omvandla ny teknik till verkliga lösningar som skapar värde. Vi arbetar i skärningspunkten mellan affärsstrategi och teknikutveckling och stöttar våra kunder genom hela resan - från de första idéerna till utveckling, implementering och vidare utveckling.

På Knightec Group samlas människor med olika perspektiv, erfarenheter och specialistområden. Tillsammans skapar vi innovation som gör verklig skillnad - för företag, människor och samhället i stort. För våra medarbetare innebär det stora möjligheter att vara med och forma framtidens lösningar genom meningsfulla projekt i teknikens absoluta framkant. Här får du inte bara utvecklas och växa i din roll - du blir också en del av ett team där nyfikenhet, samarbete och modet att utmana driver oss framåt.

Praktisk information

Detta är en masteruppsats-tjänst med placering på vårt kontor i Stockholm. Startdatum är i januari 2027, exakta datum släpps närmre inpå.

Det färdiga examensarbetet kan publiceras och användas både i din personliga portfölj och i företagets marknadsföring. Vänligen bifoga CV och personligt brev i din ansökan.

Skicka gärna in din ansökan så snart som möjligt, dock senast 2026-10-29. Om du har några frågor är du välkommen att kontakta Hibatallah Belhajali på Hibatallah.belhajali@knightec.se. Observera att vi, på grund av GDPR, endast tar emot ansökningar via vår karriärsida.