Lokale KI für Ihre Arbeit: das Modell läuft auf Ihrem eigenen Rechner

Lokale KI bedeutet: Das KI-Modell liegt auf Ihrem eigenen Rechner und rechnet dort. Es gibt keinen Dienst im Hintergrund, der Ihre Eingabe entgegennimmt. Sie sprechen oder markieren einen Text, das Modell verarbeitet ihn auf Ihrem Prozessor oder Ihrer Grafikkarte, das Ergebnis erscheint im Programm.

Technisch ist so ein Modell eine große Datei mit Zahlenwerten. Ein Programm lädt sie in den Arbeitsspeicher und rechnet damit. Nichts davon braucht eine Verbindung nach außen: Nach der Installation läuft lokale KI ohne Internet, auch im Zug oder in einem abgeschotteten Netz.

Der Unterschied zur KI aus der Cloud liegt nicht in der Bedienung, sondern im Weg der Daten. Was das rechtlich bedeutet, steht auf unserer Seite zur DSGVO-konformen KI.

Lokal betreiben lässt sich ein Modell nur, wenn seine Gewichte frei verfügbar sind. Solche quelloffenen Modelle werden als Datei veröffentlicht und laufen anschließend auf eigener Hardware. Damit sie in den Arbeitsspeicher eines Büro-PCs passen, werden sie verkleinert: Die Zahlen im Modell werden gröber gespeichert, die Datei schrumpft, für Schreibarbeit bleibt die Qualität brauchbar.

Bei SpeechToWork müssen Sie kein Modell aussuchen und nichts zusammenstecken. Die Software bringt zwei Teile mit: eine Spracherkennung, die 25 europäische Sprachen automatisch erkennt, und ein Sprachmodell, das den erkannten Text in Form bringt. Beim Start prüft sie Ihre Hardware und wählt die passende Größe selbst.

Sie brauchen keinen Server und keine Spezialhardware. SpeechToWork läuft auf einem aktuellen PC oder Notebook mit Windows 10 oder 11, empfohlen sind 16 GB Arbeitsspeicher. Installiert wird mit einem Doppelklick, Administratorrechte sind weder dafür noch für die tägliche Arbeit nötig.

• Windows 10 oder Windows 11 mit 64 Bit.
• Einmaliger Modell-Download beim ersten Start: je nach Rechner 4 bis 6 GB.
• Mit eigener Grafikkarte ab 6 GB steht der fertige Text rund eine Sekunde nach dem Loslassen der Taste im Programm.
• Auf Rechnern ohne Grafikkarte dauert es einige Sekunden. Eine Grafikkarte ist ein Tempovorteil, keine Voraussetzung.

Danach braucht nur noch die Lizenzprüfung eine Verbindung. SpeechToWork gibt es für Windows, eine Version für macOS ist geplant.

Ein lokales Sprachmodell ist dann stark, wenn alle nötigen Informationen schon im Text stehen. Bei Büroarbeit ist das meistens der Fall:

• Diktate bereinigen: Fülllaute und Selbstkorrekturen verschwinden, Zahlen und Satzzeichen stimmen.
• Markierten Text kürzen, förmlicher machen oder übersetzen.
• Antworten auf E-Mails aus wenigen Stichworten schreiben.
• Lange Nachrichten zusammenfassen und Aufgaben herausziehen.
• Besprechungen protokollieren, mit Entscheidungen und Aufgaben.
• Rechnungen und Bildschirmausschnitte auslesen.

Welche dieser Aufgaben sich in einem Betrieb zuerst lohnen und was ein Arbeitsplatz kostet, steht auf der Seite KI für Unternehmen.

Mit eigenen Daten zu arbeiten heißt bei lokaler KI nicht, dass das Modell trainiert wird. Sie legen ihm die Daten vor, und es arbeitet damit: Sie ziehen ein PDF hinein und stellen Fragen dazu, Sie markieren eine E-Mail und lassen die Aufgaben herausziehen, Sie tragen Kundennamen und Fachbegriffe ins Wörterbuch ein, damit sie richtig geschrieben werden.

Das Modell selbst bleibt unverändert. Es wird beim Installieren als Datei geladen und danach nicht mehr geändert. Ihre Inhalte fließen in keinen Trainingslauf, denn sie verlassen Ihren Rechner nicht.

Ein Modell, das auf einem Büro-PC läuft, ist kleiner als die größten Modelle in Rechenzentren. Es hat weniger Weltwissen und eignet sich nicht für Recherche oder lange kreative Texte. Tagesaktuelles kann es nicht wissen, weil es nichts nachschlägt.

SpeechToWork setzt lokale KI deshalb dort ein, wo sie verlässlich ist: bereinigen, umformulieren, zusammenfassen, herausziehen. Zusätzlich vergleicht eine Prüfung die Ausgabe des Sprachmodells mit dem erkannten Text. Ist das Ergebnis unplausibel, fügt SpeechToWork den erkannten Rohtext ein. Ihr Diktat geht nie verloren.