Ein KI-Programmierer, den Sie direkt auf Ihrem Laptop ausführen können

Das Startup-Unternehmen Recursive hat ein Modell auf der Hugging Face-Plattform unter der Apache 2.0-Lizenz veröffentlicht. FeuersteinEs ist ein Beispiel dafür, wie fortschrittliche Systeme zur Entwicklung neuer Modelle künstlicher Intelligenz beitragen können. Das Eureka-Maschinensystem regte Experimente an und steuerte die Entwicklung, jedoch lediglich in der Rolle eines Forschungsassistenten unter der Aufsicht eines Expertenteams.

Der Hauptvorteil des lokalen Betriebs besteht darin, dass Programmcode und Daten auf dem Computer des Benutzers verbleiben, ohne in die Cloud übertragen zu werden und ohne dass nutzungsabhängige Abonnementgebühren anfallen. Der Nachteil liegt im Bedarf an geeigneter Hardware und dem Umstand, dass das Modell deutlich detailliertere Anweisungen erfordert als etablierte kostenpflichtige Cloud-Lösungen.

Flint nutzt eine „Mixture-of-Experts“-Architektur mit insgesamt 40 Milliarden Parametern, von denen nur 2,5 Milliarden pro Aufgabe aktiviert sind. In internen Tests auf einem MacBook Pro mit Apple M4 Pro Chip erreichte es eine Geschwindigkeit von rund 131 Token pro Sekunde und ist damit deutlich schneller als Modelle wie Googles Gemma 4 und Nvidias Nemotron 3.5 Lightning.

Bei der Nvidia RTX Spark-Grafikkarte wurden über 150 Chips pro Sekunde erreicht. Laut Hersteller übertraf sie im SWE-Bench Verified-Test die Ergebnisse vergleichbarer Modelle um weniger als 50 Milliarden Parameter. Trotz dieser vielversprechenden Zahlen ist Vorsicht geboten, da die genauen Testbedingungen nicht veröffentlicht wurden. Die tatsächliche Leistungsfähigkeit des Modells wird sich daher erst im praktischen Einsatz zeigen.

Recursive sieht das neue Flint lediglich als ersten Schritt. Die Vision der automatisierten KI-Entwicklung ist zwar verlockend, doch Flint demonstriert in erster Linie, dass es möglich ist, ein leistungsstarkes und handhabbares lokales Modell zur Codegenerierung zu erstellen.