Das neue Llama 3.3: das 70B AI-Modell von Meta für Entwickler

Llama 3.3 verfügt über eine 70-Milliarden-Parameter-Architektur, die auf einem transformatorbasierten Design basiert, das für Leistung und Effizienz optimiert ist. Im Vergleich zum Vorgängermodell Llama 3.1 liefert es deutlich bessere Ergebnisse und benötigt dabei eine wesentlich geringere Rechenleistung, wodurch es für Entwickler mit Standard-Hardwarekonfigurationen leichter zugänglich ist. Diese Optimierung umfasst Verbesserungen wie Grouped-Query Attention (GQA), die die Textverarbeitung beschleunigt und den Speicherverbrauch reduziert. Da sich das Modell ausschließlich auf textbasierte Aufgaben konzentriert, unterstützt es noch keine Bild- oder Spracheingaben und legt den Schwerpunkt auf die Effizienz beim Verstehen und Erzeugen natürlicher Sprache.

Das Modell wurde auf der Grundlage von über 15 Billionen Token aus öffentlich zugänglichen Datenquellen trainiert und hat eine Wissensgrenze im Dezember 2023, so dass es mit relativ aktuellen und vielfältigen Informationen ausgestattet ist. Es wurde mit überwachtem Lernen und verstärktem Lernen aus menschlichem Feedback (RLHF) feinabgestimmt, um seine Ergebnisse an die menschlichen Präferenzen anzupassen. Es wurde so konzipiert, dass es effizient auf gängigen Grafikprozessoren läuft, und unterstützt auch Quantisierungstechniken wie 8-Bit- und 4-Bit-Präzision, was den Ressourcenbedarf weiter reduziert. Das Modell unterstützt mehrere Sprachen, darunter Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch, was es zu einem praktischen Werkzeug für die Bearbeitung einer Vielzahl textbasierter Aufgaben macht.

Vergleich zwischen Llama 3.3 und den Llama 3.1 Modellen

Aus der von Ollama zur Verfügung gestellten Vergleichsübersicht geht hervor, dass Llama 3.3 deutliche Verbesserungen gegenüber den früheren Llama 3.1-Modellen bietet. Bei den allgemeinen Wissensfähigkeiten (MMLU) schneidet Llama 3.3 in Zero-Shot-Tests genauso gut ab wie Llama 3.1 70B (86,0 %), aber besser in komplexeren 5-Shot-Tests (68,9 % gegenüber 66,4 %). Außerdem verarbeitet es Anweisungen genauer: 92,1 % bei IFEval im Vergleich zu 87,5 % bei Llama 3.1 70B.

Bei den Codierungsbenchmarks ist Llama 3.3 stärker, mit einem pass@1 Ergebnis von 88,4% bei HumanEval, verglichen mit 80,5% bei Llama 3.1 70B. Es verbessert sich auch bei den mathematischen Aufgaben, indem es 77,0% beim MATH-Benchmark erreicht, gegenüber 68,0% von Llama 3.1 70B. Bei den Aufgaben zum logischen Denken (GPQA Diamond) ist Llama 3.3 mit 50,5% gegenüber 48,0% leicht besser.

Seine mehrsprachigen Fähigkeiten sind beeindruckend, mit einer Punktzahl von 91,1% bei MGSM, die die 86,9% von Llama 3.1 70B übertrifft. Auch die Preise sind gegenüber Llama 3.1 unverändert, was bedeutet, dass Entwickler eine bessere Leistung ohne zusätzliche Kosten erhalten.

Im Vergleich zu anderen großen Sprachmodellen wie Amazon Nova Pro, Gemini Pro 1.5 und GPT-4o kann sich das neue Llama 3.3 gut behaupten. Im Bereich Allgemeinwissen (MMLU) erreicht Llama 3.3 mit 86,0 % im Zero-Shot-Test den Wert von Amazon Nova Pro und schneidet besser ab als GPT-4o (85,9 %). Bei der Befolgung von Anweisungen (IFEval) erreicht Llama 3.3 92,1% und liegt damit gleichauf mit Amazon Nova Pro und besser als GPT-4o (84,6%) und Gemini Pro 1.5 (81,9%).

Bei Codierungsaufgaben erreicht Llama 3.3 88,4 % auf HumanEval und liegt damit leicht hinter Amazon Nova Pro (89,0 %), aber vor GPT-4o (86,0 %). Es bewältigt auch Matheaufgaben gut und erreicht 77,0%, was besser ist als Amazon Nova Pro (76,6%) und GPT-4o (76,9%), aber nicht so gut wie Gemini Pro 1.5 (82,9%).

Bei mehrsprachigen Aufgaben sticht Llama 3.3 mit 91,1% hervor und liegt damit vor OpenAI GPT-4o (90,6%) und Gemini Pro 1.5 (89,6%). Vor allem aber ist Llama 3.3 die kostengünstigste Option mit dem niedrigsten Preis pro Input- und Output-Token und damit eine gute Wahl für Entwickler, die sowohl hohe Leistung als auch Erschwinglichkeit wünschen. 

Llama 3.3 wurde mit Blick auf die Zugänglichkeit entwickelt, so dass es effizient auf Standard-Entwickler-Workstations ausgeführt werden kann, ohne dass spezielle Hardware erforderlich ist. Es enthält Quantisierungstechniken wie 8-Bit- und 4-Bit-Präzision, um die Speichernutzung zu reduzieren und gleichzeitig eine hohe Leistung beizubehalten. Diese Anpassungsfähigkeit ermöglicht es Entwicklern, die Software auf einer Vielzahl von Hardwarekonfigurationen zu testen und einzusetzen, von einzelnen GPUs bis hin zu großen verteilten Systemen.

Llama 3 ist völlig kostenlos und quelloffen und setzt damit die Tradition der Vorgängerversionen fort. Dieser Ansatz unterscheidet Meta von proprietären Wettbewerbern, da das Modell öffentlich zugänglich ist. Während Llama 3 selbst keine Kosten verursacht, fallen bei der Nutzung durch Drittanbieter oder selbst gehostete Server Gebühren an, die von der gewählten Infrastruktur oder den Dienstleistungen abhängen.

Zusammenfassend lässt sich sagen, dass das neue Modell eine ähnliche Leistung wie sein Vorgänger Llama 3.1 bietet, sich aber durch deutlich geringere Hardwareanforderungen auszeichnet, wodurch es für eine größere Anzahl von Entwicklern zugänglich ist. Im Vergleich zu anderen KI-Modellen auf dem Markt ist Llama 3.3 wesentlich kostengünstiger und liefert qualitativ hochwertige Ergebnisse zu einem Bruchteil des Preises. Obwohl es sich derzeit ausschließlich auf textbasierte Aufgaben konzentriert und keine Bild- oder Sprachverarbeitung unterstützt, ist es aufgrund seiner Effizienz und Erschwinglichkeit eine ausgezeichnete Wahl für Anwendungen, die eine umfangreiche Texterstellung und -verarbeitung erfordern.