Private KI in Ihrer Hosentasche – auch ohne Internet

Ein interessantes Projekt aus der Entwicklergemeinschaft zeigt, wie künstliche Intelligenz komplett offline funktionieren kann. Der Entwickler hat einen „Offline“-KI-Assistenten auf Basis eines Raspberry Pi 5 entwickelt. Dieser arbeitet ausschließlich mit lokaler Datenverarbeitung.

Der Hauptgrund für diesen Ansatz ist der Datenschutz. Die meisten modernen KI-Dienste erfordern das Senden von Daten in die Cloud, was für viele Nutzer ein Risiko darstellt. Eine lokale Lösung ermöglicht es, dass alle Daten auf dem Gerät verbleiben, ohne externe Server.

Das System verwendet eine optimierte Version des Sprachmodells, die so ressourcenschonend ist, dass sie auch auf leistungsschwächerer Hardware ausgeführt werden kann. Das Modell kann Antworten mit einer Geschwindigkeit von etwa 5 bis 10 sogenannten „Tokens“ pro Sekunde generieren, wobei die erste Antwort in weniger als acht Sekunden eingeht.

Die Sprachinteraktion ist ebenfalls ein wichtiger Bestandteil des Systems. Der über das Mikrofon aufgenommene Ton wird lokal in Text umgewandelt, und die KI erstellt anschließend eine Antwort, die über den Lautsprecher des Geräts wiedergegeben wird. Wie bereits erwähnt, findet der gesamte Prozess ohne Internetverbindung statt.

Das Projekt umfasst auch grundlegende visuelle Intelligenz. Mithilfe einer Kamera und eines Objekterkennungsmodells kann das Gerät seine Umgebung analysieren und Objekte in seinem Sichtfeld identifizieren.

Die Benutzeroberfläche nutzt ein kleines OLED-Display mit einem Durchmesser von ca. 2,4 cm, das Rückmeldungen und grundlegende Systeminformationen anzeigt. Die Bedienung erfolgt über physische Tasten, das Gerät funktioniert also ohne Tastatur oder Computerbildschirm.

Um den Kontext zu erhalten, nutzt das System außerdem eine lokale Datenbank, in der Informationen und vergangene Konversationen gespeichert werden. Dadurch kann der Assistent frühere Interaktionen berücksichtigen und aussagekräftigere Antworten geben.

Das Projekt wird als Open-Source-Lösung veröffentlicht, sodass Entwickler es anpassen oder erweitern können. Solche Systeme weisen den Weg für die Entwicklung künstlicher Intelligenz, bei der immer mehr Lösungen direkt auf dem Gerät funktionieren werden, ohne auf Cloud-Dienste angewiesen zu sein.