Moonshot AI hat das KI-Modell Kimi K3 veröffentlicht – ein Open-Weight-Modell mit 2,8 Billionen Parametern, das das Unternehmen selbst als erstes offenes Modell der 3-Billionen-Parameter-Klasse bezeichnet. Auf gängigen Benchmarks positioniert es sich knapp unterhalb von OpenAIs GPT-5.6 Sol und Anthropics Claude Fable 5.
Architektur
Kimi K3 nutzt eine Mixture-of-Experts-Architektur mit 896 Experten gesamt, von denen pro Inferenzschritt nur 16 aktiv sind. Das Kontextfenster umfasst eine Million Token. Laut Kimi ermöglicht eine neue Aufmerksamkeitsarchitektur bei diesen langen Kontexten bis zu 6,3-fach schnelleres Decoding. Sogenannte Attention Residuals sollen die Trainingseffizienz um rund 25 Prozent steigern – bei weniger als 2 Prozent zusätzlichem Rechenaufwand. Für multimodale Verarbeitung integriert das Modell einen visuellen Feedback-Kreislauf, den Kimi als „Vision in the Loop
Quellen: Golem.de · The Decoder (DE) · Trending Topics · The Decoder (EN) · Simon Willison's Weblog Dieser Artikel wurde KI-gestützt aus mehreren unabhängigen Quellen erstellt und automatisiert faktengeprüft.