En ny sparsom sværvægter
Den seneste opdatering af de bedste open-weight-modeller til erhvervslivet afslører et spændende skift i arkitekturen. Arcee AI har frigivet Trinity Large, en sparse mixture-of-experts-model med cirka 400 milliarder parametre i alt, men hvor kun 13 milliarder er aktive pr. token. Ifølge Layer3 Labs er modellen trænet på 2.048 Nvidia Blackwell B300 chips for omkring 20 millioner dollars, hvilket er en brøkdel af prisen for tilsvarende lukkede modeller.
Hvorfor MoE ændrer reglerne for hosting
For en europæisk hostingudbyder er denne type mixture-of-experts-arkitektur afgørende. Tidligere har modeller med frontier-kapacitet krævet enorm hardware for at køre effektivt. Med Trinity Large får man kapacitet svarende til en massiv model, men med en inferenspris, der minder om en meget mindre model. Dette gør det realistisk at tilbyde avanceret AI på ejet infrastruktur i Europa uden at sprænge budgettet.
Som det fremgår af Davies Meyer, er en af de primære fordele ved open-weight-modeller netop muligheden for self-hosting. Dette giver fuld kontrol over data og gør det markant lettere at overholde regler som EU's AI Act. Når modellen kun aktiverer en brøkdel af sine parametre under kørsel, reduceres både strømforbrug og latency.
- Mindre hardwarebehov pr. anmodning
- Lavere omkostninger ved inferens
- Fuld overholdelse af europæisk datasuverænitet
Vejen frem
Arcee AI Trinity Large er et fremragende eksempel på, hvordan open-weight-bevægelsen bliver mere praktisk anvendelig. Modeller, der er designet til at være effektive ved kørsel, frem for kun at imponere med rå parametre, er præcis, hvad der skal til for at bygge en bæredygtig europæisk AI-infrastruktur. Hos Liviate holder vi øje med disse effektive arkitekturer for at sikre, at vores kunder altid kan køre den nyeste AI-teknologi sikkert og økonomisk i Danmark.