KI im Eigenbetrieb

Sprachmodelle lassen sich auf gewöhnlicher Hardware betreiben. Die Frage ist nicht ob, sondern welche – und wo der Punkt liegt, an dem die Erwartung an der Wirklichkeit abprallt.

Was die Größe bedeutet

Die Zahl im Modellnamen gibt die Anzahl der Parameter in Milliarden an. Sie bestimmt vor allem eines: den Speicherbedarf. In voller Genauigkeit braucht ein Modell etwa zwei Gigabyte pro Milliarde Parameter – ein Modell mit acht Milliarden also rund 16 GB, was auf den meisten Geräten nicht passt.

Deshalb werden Modelle quantisiert: Die Zahlen im Inneren werden gröber gespeichert, üblicherweise mit vier statt sechzehn Bit. Der Speicherbedarf sinkt auf etwa ein Viertel, die Qualität nimmt messbar, aber im Alltag meist unauffällig ab. Praktisch bedeutet das etwa 0,6 GB pro Milliarde Parameter.

Mit oder ohne Grafikkarte

Auf dem Prozessor läuft alles, nur langsam. Ein Modell mit acht Milliarden Parametern schafft dort typischerweise wenige Wörter pro Sekunde – für einen Chat, bei dem man beim Lesen wartet, ist das an der Grenze des Erträglichen. Für Aufgaben, die im Hintergrund laufen, spielt es keine Rolle.

Eine Grafikkarte ändert das um eine Größenordnung, aber nur, wenn das Modell vollständig in ihren Speicher passt. Passt es nicht und wird aufgeteilt, bricht die Geschwindigkeit auf das Niveau des Prozessors zusammen. Der Grafikspeicher ist deshalb die entscheidende Kennzahl, nicht die Rechenleistung: 8 GB tragen die Alltagsklasse, 12 bis 16 GB decken fast alles ab, was zu Hause sinnvoll ist.

Der erste Aufruf nach einer Pause dauert immer länger, weil das Modell erst in den Speicher geladen wird. Das ist kein Fehler.

Was gut funktioniert

• Zusammenfassen und Umformulieren. Der verlässlichste Anwendungsfall überhaupt, weil der Ausgangstext mitgeliefert wird und das Modell wenig erfinden kann.
• Fragen an eigene Dokumente. Die Unterlagen werden in Abschnitte zerlegt, durchsuchbar abgelegt und die passenden Stellen der Frage beigelegt. Das ist der Anwendungsfall, bei dem der Eigenbetrieb den größten Vorteil hat – die Dokumente verlassen das Haus nicht.
• Klassifizieren und Strukturieren. Eingehendes einsortieren, Daten aus Fließtext ziehen, Stichworte vergeben. Unspektakulär und sehr zuverlässig.
• Code in kleinen Portionen. Eine Funktion erklären, einen Fehler eingrenzen, ein Muster übertragen.

Was nicht funktioniert

• Faktenwissen. Kleine Modelle erfinden Details mit voller Überzeugung. Ohne beigelegte Quelle ist jede konkrete Angabe ein Vorschlag, keine Auskunft.
• Rechnen. Sprachmodelle rechnen nicht, sie schätzen, wie ein Ergebnis aussehen könnte. Für Zahlen gehört ein Werkzeug dazwischen, das tatsächlich rechnet.
• Lange Verkettungen. Je mehr Schritte eine Aufgabe hat, desto wahrscheinlicher entgleist einer davon – und die folgenden bauen darauf auf.
• Der Vergleich mit den großen Anbietern. Wer den gewohnten Komfort erwartet, wird enttäuscht. Der Vergleichsmaßstab sollte sein, was ohne diese Modelle möglich wäre.

Ein Detail, das leicht übersehen wird

Die Einstellung, wie stark das Modell beim Antworten würfeln darf, beeinflusst nicht nur den Stil. Wenn ein Modell Werkzeuge aufrufen darf – rechnen, suchen, Daten holen –, kann ein zu hoher Wert dazu führen, dass es die Argumente des Aufrufs verfälscht. Das Werkzeug rechnet dann korrekt, aber die falsche Aufgabe, und das Ergebnis sieht völlig plausibel aus.

Für alles, was Werkzeuge benutzt, gehört dieser Wert niedrig. Und es lohnt sich, bei wichtigen Ergebnissen kurz zu prüfen, was tatsächlich an das Werkzeug übergeben wurde – die meisten Oberflächen zeigen das an.

Der eigentliche Vorteil

Er ist nicht Geschwindigkeit und nicht Qualität – in beidem gewinnen die großen Anbieter. Er ist Kontrolle: Die Unterlagen, die man auswertet, bleiben im eigenen Netz. Es gibt keine Nutzungsbedingungen, die sich ändern, keine Preiserhöhung, kein abgeschaltetes Modell, auf dem etwas aufgebaut war.

Für alles, was ohnehin öffentlich ist, lohnt sich der Aufwand kaum. Für alles, was es nicht ist, lohnt er sich sofort.

Weiter zu:
Heimserver & Virtualisierung ·
Netzwerk & Zugriff ·
Automatisierung ·
Glossar