스크립트
00:00:00Das am häufigsten mit Sternen versehene neue Repository des Sommers, über 83.000 Sterne in sechs Wochen.
00:00:05Es stammt weder von Google, Microsoft noch von OpenAI. Es stammt von PewDiePie. Ja, genau der PewDiePie.
00:00:12Und wenn man den Issue-Tracker öffnet, lautet das am besten bewertete Problem, ich zitiere,
00:00:17das ist purer Wahnsinn. Und ein anderer Kommentar besagt, ich habe buchstäblich Angst, das überhaupt auf meinem Rechner auszuführen.
00:00:22Also werde ich es für euch tun. Und wir werden sehen, was das überhaupt ist.
00:00:30Das Projekt heißt Odysseus und es als eine weitere Chat-Benutzeroberfläche zu bezeichnen, untertreibt ein wenig. Es ist ein selbst gehosteter
00:00:38KI-Arbeitsbereich, der anscheinend all diese Dinge tut, die viel zu lang sind, als dass ich sie überhaupt vorlesen könnte.
00:00:44Während es das alles tut, überlebt es offenbar zwischen Sitzungen, eine App, die auf Ihrem Rechner läuft.
00:00:50Eine GPL-Lizenz, keine Cloud-Ebene, kein Abonnement. Jeder Chat und jede E-Mail liegt in einem einfachen lokalen Daten-
00:00:56ordner, den Sie selbst sichern können. Und die Vorgeschichte erklärt alles. Letztes Jahr geriet PewDiePie
00:01:02in den Kaninchenbau der lokalen KI, wahrscheinlich tiefer als die meisten von uns. Er baute ein 10-GPU-Rig mit modifizierten 48-
00:01:09Gigabyte-4090er, 70-Milliarden-Parameter-Modellen und einer selbstgemachten Benutzeroberfläche namens Chat OS mit einem Bot-Rat,
00:01:18der über Antworten abstimmte, bis sie anfingen, gegen ihn zu kolludieren. Odysseus ist dieses System, neu aufgebaut für den
00:01:24Rest von uns. Er hat es am 31. Mai veröffentlicht, 30.000 Sterne in 48 Stunden. Wir werden sehen, was das wirklich ist.
00:01:30Wenn ihr Coding-Tools zur Beschleunigung eures Workflows schätzt, abonniert unbedingt den Kanal. Wir bringen ständig neue Videos heraus.
00:01:35Lasst uns das also ausführen, denn auf einem Mac ist es wirklich ein einziges Skript: Klonen, Docker starten, und es richtet
00:01:41alles ein. Wenn ich Grep verwende, erhalte ich ein temporäres Passwort im Terminal zurück, und es wird auf Port 7000 bereitgestellt.
00:01:48Ich kann mich mit admin und diesem Passwort anmelden. Und jetzt blicken wir auf diese Monospace-Schnittstelle im Rot-auf-Dunkel-
00:01:52Terminal-Stil. XDA nannte es auf seltsame Weise großartig, während ein Hacker-News-Kommentator es
00:01:58als grauenhaft bezeichnete. Und ehrlich gesagt sagt diese Spaltung alles über dieses Projekt aus.
00:02:03Erste Station ist das Kochbuch. Es scannt diesen Mac, den Chip, den gemeinsamen Speicher und sagt mir, welche lokalen
00:02:09Modelle hier tatsächlich laufen, lädt sie dann herunter und stellt sie über Llama CPP mit vollständiger Metal-
00:02:16Beschleunigung bereit. Dieser eine Bildschirm ersetzt eine Stunde Herumsuchen. Ich kann die Boxen verschieben,
00:02:22was cool ist. Aber das nächste Interessante hier ist der Modellvergleich. Ein Prompt,
00:02:27drei lokale Modelle, nebeneinander, Blindtests. Ich kann dann meinen Prompt eingeben. Und wenn er fertig ist,
00:02:34kann ich den Gewinner auswählen, bevor enthüllt wird, welches Modell das geschrieben hat. Das ist der Bot-Rat. Das ist ziemlich
00:02:40cool. Es basiert vollständig auf einer FastAPI-App für Container, Odysseus, Chroma DB für Vektorspeicher,
00:02:47einer gebündelten SeerXNG-Suchmaschine und Nifty für Push-Benachrichtigungen. Dieses Bündel ist der Grund, warum Deep Research,
00:02:54worauf ich gleich zu sprechen komme, ohne kostenpflichtige APIs funktioniert. Es sucht über sein eigenes SeerXNG,
00:03:00liest die Quellen und streamt einen zitierten Bericht zurück, alles lokal. Das Gedächtnis ist real. Erzähle ihm heute eine Tatsache,
00:03:06frage morgen in einer frischen Sitzung danach, und es weiß es. Der E-Mail-Client sichtet Ihren tatsächlichen Posteingang über IMAP
00:03:11und entwirft Antworten. Ich wollte meine E-Mail aus naheliegenden Gründen nicht damit synchronisieren, aber es ist integriert.
00:03:17Es gibt einen integrierten Kalender, in dem Sie Dinge wie in einem normalen Kalender hinzufügen können, aber jetzt kann das LLM
00:03:22es tatsächlich lesen. Ich kann hier tatsächlich zu Deep Research gehen, worauf ich zurückkomme.
00:03:26Ich kann ihm eine Frage stellen, und es führt eine mehrstufige Agentenschleife aus. Die beste Analogie, die ich habe: selbst gehostete
00:03:33Cloud-Projekte mit einem Posteingang als Anhang. Nun, eine Sache, bei der ich fair sein möchte: die Agentenschleife,
00:03:39das Kochbuch und die Recherche-Pipeline sind mit entsprechender Nennung von OpenCode, LLM Fit
00:03:46und Alibabas Deep Research adaptiert. Das ist einfach geschickte Montage. Es ist keine Erfindung von Grund auf,
00:03:52und ehrlich gesagt muss es das auch nicht sein. Was die Frage aufwirft, die Hacker News Wort für Wort gestellt hat.
00:03:58Warum nicht einfach OpenWebUI verwenden? Völlig fair. OpenWebUI und LibreChat haben jahrelange Reife in tatsächlichen
00:04:05Versionsveröffentlichungen. Odysseus gewinnt durch seinen Umfang. Niemand sonst liefert E-Mail-Kalender, geplante Agenten,
00:04:11Push-Benachrichtigungen und einen hardwarebewussten Modellmanager in einer Box. Es gibt auch einen Lizenzhaken.
00:04:17Die Lizenz von OpenWebUI erlaubt es Ihnen nicht, sein Branding zu entfernen, was Hacker News als nicht vollständig
00:04:23Open Source bezeichnet hat. Odysseus ist einfache AGPL. Aber wenn Sie Chat plus RAG wollen und das alles ist, was Sie brauchen,
00:04:30nehmen Sie einfach ein anderes Tool. Dagegen gibt es kein Argument. Nun zu dem Teil, den Sie tatsächlich hören müssen,
00:04:34da ich dieses Projekt keineswegs anpreisen will: Dieses Top-Problem besagt, was zur Hölle hier eigentlich los ist.
00:04:41Es beschreibt 800 zusammengeführte Pull Requests mit LLM-Schrott, eine 30.000 Zeilen lange CSS-Datei, zufälliges Inline-JavaScript
00:04:49und im Moment stehen fast 900 PRs offen, viele davon von KI geschrieben, andere von Fans eingereicht.
00:04:56Es gibt Null getaggte Releases. Null. Sie betreiben einen sich bewegenden Entwicklungszweig, ungesicherte Abhängigkeiten,
00:05:03installieren es heute, und morgen erhalten Sie zwei verschiedene Apps. Die Sterne sind teilweise Fandom,
00:05:07offensichtlich. Der Mann hat 110 Millionen Abonnenten, aber Sterne sind kein Code-Review. Und lesen Sie das Bedrohungsmodell
00:05:14des Projekts. Der Agent erhält Shell-Zugriff, Dateizugriff und die Möglichkeit, E-Mails zu senden. Ihre Worte:
00:05:21Behandeln Sie es wie eine Admin-Konsole. Setzen Sie dies niemals dem Internet aus. Ein Mac-spezifischer Haken in Docker:
00:05:27Inferenz läuft nur auf der CPU, weil Docker und macOS die Metal-GPU nicht berühren können. Also
00:05:32lauten meine Urteile zwei Urteile. Als lokaler Spielplatz ist es cool. Als Produktionsabhängigkeit absolut nein.
00:05:39Und es ist in Ordnung, beides zu sein. Aber hier ist, was die Das-ist-nur-Schrott-Menge übersieht: Über 300 Leute
00:05:45haben inzwischen dazu beigetragen. Die Community hat eine Codeowners-Datei erzwungen und einen vollständigen Architekturreform-
00:05:52vorschlag geschrieben, der über 100 Kommentare nach sich zog. Und vor zwei Tagen ist das Repository in eine eigene GitHub-Org umgezogen.
00:05:59Das Ding ist unordentlich, überfüllt, ungleichmäßig und lebendiger als fast jedes Projekt, das ich seit langem gesehen habe. Also,
00:06:05hier ist mein Fazit. Es geht nicht um den Code. Der Code ist ehrlich gesagt das Unwichtigste in diesem
00:06:09Repository. Was zählt, ist, dass 110 Millionen Menschen gerade gesehen haben, wie jemand, dem sie nach eigenen Angaben vertrauen, sagt, dass man
00:06:15seine eigene KI auf dem eigenen Rechner betreiben und die eigenen Daten besitzen kann. Das Selbsthosten von KI wird zum Mainstream,
00:06:20aber das bedeutet nicht immer, dass wir ihr vertrauen sollten. Wenn euch Coding-Tipps und -Tricks wie diese gefallen,
00:06:24abonniert unbedingt den BetterStack-Kanal. Wir sehen uns in einem anderen Video.