GenAI

Waarom snelheid belangrijk is aan de voorkant

Vanuit het perspectief van de gebruiker is snelheid natuurlijk een belangrijke factor. Het grootste deel van de informatie is binnen enkele seconden beschikbaar op het internet, waarbij de meeste pagina’s binnen 5 seconden laden. Aangezien dit de tijd is die de meeste mensen verwachten om een antwoord te krijgen nadat ze informatie hebben opgevraagd, zullen zeer vertraagde antwoorden vervelend zijn voor gebruikers. Grote taalmodellen (LLM’s) en conversational AI’s zijn vaak bedoeld als alternatief voor het opzoeken van informatie op google. Als de tijd die het kost om iets op te zoeken op Google aanzienlijk sneller is dan de responstijd van je LLM, zal de gebruikerstevredenheid afnemen. GenAI is bedoeld als vervanging voor zeer lastige taken. Als deze taken uiteindelijk korter duren dan een reactie van je GenAI, dan ontbreekt dit fundamentele principe.

Waarom snelheid belangrijk is in de back-end

In de back-end staat snelheid vaak gelijk aan kosten. Het kost veel geld om hardware heel lang te gebruiken om te reageren op inferentieverzoeken. Moderne hardware heeft optimalisaties die bedoeld zijn om grootschalige bewerkingen snel uit te voeren. GPU’s blinken uit in parallellisatietaken en matrixvermenigvuldiging, die hard nodig zijn voor GenAI workloads. Er zijn innovatieve softwareoplossingen ontwikkeld, zoals Nvidia’s CUDA. CUDA is een software-interface die is ontworpen voor parallellisatietaken. Profiteren van deze innovaties is energiezuiniger dan het gebruik van oudere hardware.

Een manier om latentieproblemen op te lossen is door gebruik te maken van High Performance Computing (HPC). HPC is een soort multi-core hardware-infrastructuur die ontworpen is om gegevens te verwerken en berekeningen uit te voeren op zeer hoge snelheden met behulp van verschillende optimalisatietechnieken zoals parallelle verwerking. Het wordt veel gebruikt in verschillende wetenschappelijke domeinen zoals klimaatbewaking, biomedisch onderzoek en natuurkundige simulaties.

HPC als mogelijke oplossing

HPC gebruiken voor GenAI workloads lijkt een match made in heaven. Zoals in dit artikel wordt beschreven, “is HPC van cruciaal belang voor het beperken van latentie voor real-time LLM toepassingen”. HPC kan nuttig zijn om het trainingsproces van LLM’s en de inferentietijd van het live model te optimaliseren. Er blijven echter uitdagingen bij de integratie. Met name in het aanpassen van LLM’s voor HPC, waarvoor uitgebreide kennis van beide gebieden nodig kan zijn om dit effectief te doen.

Kleine taalmodellen als mogelijke oplossing

Een andere optie zou kunnen zijn om kleinere modellen te gebruiken. Het is niet altijd nodig om de nieuwste en beste LLM te gebruiken. Hoewel ze erg aantrekkelijk en flitsend lijken, is het vaak niet de meest kosteneffectieve oplossing. LLM’s zijn als sportauto’s, indrukwekkend en leuk om te gebruiken, SLM’s zijn als een goedkopere gezinssedan. Beide auto’s kunnen worden gebruikt voor woon-werkverkeer, net zoals zowel LLM’s als SLM’s kunnen worden gebruikt voor effectief GenAI-gebruik.

Conclusie

Samengevat is snelheid fundamenteel voor het genereren van waarde met GenAI. Aan de voorkant is de snelheid waarmee je GenAI reageert op een actie evenredig met de tevredenheid van de gebruiker. Aan de achterkant zal het gebruik van moderne hardware en software met optimalisatietechnieken het generatieproces veel efficiënter maken. We hebben ook twee mogelijke oplossingen besproken om GenAI sneller te maken. De eerste is het gebruik van HPC, wat een ideale combinatie lijkt voor GenAI. De tweede is om kleinere modellen te gebruiken. SLM’s kunnen net zo krachtig zijn als een LLM en kosten veel minder rekenkracht.