Hugging Face brengt SmolLM2 uit. Dit is een familie van compacte taalmodellen die goede prestaties leveren terwijl ze veel minder rekenkracht vereisen dan hun grotere tegenhangers.
De nieuwe modellen, uitgebracht onder de Apache 2.0-licentie, zijn verkrijgbaar in drie formaten. Namelijk 135M, 360M en 1.7B parameters. Dit maakt ze geschikt voor gebruik op smartphones en andere edge-apparaten waar de verwerkingskracht en het geheugen beperkt zijn. Vooral de 1.7B parameter versie presteert beter dan Meta’s Llama 1B model op verschillende belangrijke benchmarks. Dit meldt VentureBeat
Krachtige prestaties in AI-testen
Volgens de documentatie van Hugging Face vertoont SmolLM2 aanzienlijke verbeteringen ten opzichte van zijn voorganger. Met name in het volgen van instructies, kennis, redeneren en wiskunde. De grootste variant is getraind op 11 triljoen tokens met een diverse combinatie van datasets. Waaronder FineWeb-Edu en gespecialiseerde wiskunde- en coderingsdatasets.
Cruciaal moment
Deze ontwikkeling komt op een cruciaal moment, nu de AI-industrie worstelt met de rekenkundige eisen van grote taalmodellen (LLM’s). Terwijl bedrijven zoals OpenAI en Anthropic de grenzen verleggen met steeds grotere modellen, groeit de erkenning van de behoefte aan efficiënte, lichte AI die lokaal op apparaten kan draaien.
De druk om grotere AI-modellen te ontwikkelen heeft veel potentiële gebruikers achtergelaten. Het draaien van deze modellen vereist dure cloudcomputingdiensten, die hun eigen problemen met zich meebrengen. Trage responstijden, risico’s voor de privacy van gegevens en hoge kosten. Uitgaven die kleine bedrijven en onafhankelijke ontwikkelaars zich simpelweg niet kunnen veroorloven.
SmolLM2 biedt een andere benadering door krachtige AI-capaciteiten rechtstreeks naar persoonlijke apparaten te brengen, wat wijst op een toekomst waarin geavanceerde AI-tools toegankelijk zijn voor meer gebruikers en bedrijven, niet alleen voor techreuzen met enorme datacenters.
Efficiëntie van AI-taalmodellen
Een vergelijking van AI-taalmodellen laat de superieure efficiëntie van SmolLM2 zien, die hogere prestatiecijfers behaalt met minder parameters dan grotere rivalen zoals Llama3.2 en Gemma, waarbij de horizontale as de modelgrootte vertegenwoordigt en de verticale as de nauwkeurigheid op benchmarktests toont.
Edge computing krijgt een boost
De prestaties van SmolLM2 zijn bijzonder opmerkelijk gezien zijn grootte. Bij de MT-Bench-evaluatie, die de chatcapaciteiten meet, behaalt het 1.7B-model een score van 6.13, wat concurrerend is met veel grotere modellen.
Het toont ook sterke prestaties op wiskundige redeneringstaken, met een score van 48.2 op de GSM8K benchmark. Deze resultaten dagen de conventionele wijsheid uit dat grotere modellen altijd beter zijn, wat suggereert dat een zorgvuldige architectuurontwerp en curatie van trainingsdata mogelijk belangrijker zijn dan het aantal parameters.
De modellen ondersteunen een scala aan toepassingen, waaronder het herschrijven van teksten, samenvatten en functietoevoegen. Hun compacte formaat maakt implementatie mogelijk in scenario’s waar privacy, latentie of connectiviteitsbeperkingen cloudgebaseerde AI-oplossingen onpraktisch maken. Dit kan bijzonder waardevol blijken te zijn in de gezondheidszorg, financiële diensten en andere sectoren waar gegevensprivacy cruciaal is.
De race om efficiënte AI
Toch hebben deze kleinere modellen nog beperkingen. Volgens de documentatie van Hugging Face begrijpen ze “voornamelijk Engelse inhoud” en produceren ze mogelijk niet altijd feitelijk nauwkeurige of logisch consistente output.
De release van SmolLM2 suggereert dat de toekomst van AI misschien niet uitsluitend toebehoort aan steeds grotere modellen, maar eerder aan efficiëntere architecturen die sterke prestaties kunnen leveren met minder middelen. Dit kan belangrijke implicaties hebben voor het democrativeren van toegang tot AI en het verminderen van de ecologische impact van AI-implementatie.
De modellen zijn onmiddellijk beschikbaar via de modelhub van Hugging Face, met zowel basis- als instructie-geoptimaliseerde versies voor elk formaat.