Schluss mit gebührenpflichtigen Diktat-Apps! Diese ist besser und kostenlos (praktisch)
BBetter Stack
컴퓨터/소프트웨어AI/미래기술
Transcript
00:00:00Das ist Handy. Es ist eine Open-Source-App für Spracherkennung und Diktat, die
00:00:06komplett offline läuft – ohne Cloud, ohne Abo, ohne Konto. Und Sie können Ihr
00:00:12bevorzugtes Diktatmodell selbst wählen. Ehrlich gesagt ist es inzwischen mein Lieblings-Tool
00:00:18für Speech-to-Text-Diktate geworden. In diesem Video schauen wir uns Handy genauer an, wie es funktioniert und machen
00:00:24einige Tests, um zu sehen, wie es sich schlägt und wie es im Vergleich zu Schwergewichten wie dem kommerziellen
00:00:29Whisperflow abschneidet. Es wird spannend, also legen wir direkt los. Bis vor Kurzem war ich noch ziemlich skeptisch
00:00:39was Diktier-Apps angeht, und ich konnte einfach keine finden, die ich nutzen wollte. Ich wollte keine
00:00:45kommerziellen Produkte nutzen und fürs Diktieren bezahlen. Außerdem hatte ich Sorge, dass ein
00:00:51Open-Source-Tool mit lokalem Diktatmodell meine CPU stark belasten würde. Aber Handy hat meine Meinung in beiden
00:00:58Punkten geändert. Sprechen wir zuerst darüber, wie Handy aufgebaut ist und wie es funktioniert. Entwickelt wurde es
00:01:04vom Entwickler CJ Pace mit Taurai. Es nutzt also Rust für das Backend sowie React und TypeScript für die
00:01:12Einstellungen im Frontend. Transcribe CPP führt die Modelle der Whisper-Familie im GGML- und GGUF-Format aus. Transcribe RS
00:01:20betreibt Parakeet. Die CPAL-Bibliothek kümmert sich um die plattformübergreifende Audioeingabe. RDEV steuert die globalen
00:01:28Tastenkombinationen, und es verwendet die Bibliothek Rubato für Echtzeit-Audiostreaming
00:01:33und Re-Sampling. Diese Kombination macht die Nutzung selbst auf meinem MacBook super einfach und extrem leichtgängig.
00:01:40Der Ablauf selbst ist aus Nutzerperspektive denkbar einfach. Sie legen ein benutzerdefiniertes Tastenkürzel fest und
00:01:46schalten es entweder ein/aus oder halten es für Push-to-Talk gedrückt. Und während Sie es gedrückt halten,
00:01:52filtert ein Utility namens Silero VAD im Hintergrund leise die Stille heraus, damit Sie keine
00:01:58Rechenleistung für das Transkribieren von kompletter Stille verschwenden. Wenn Sie loslassen, sendet Handy das Audio an Ihr
00:02:04ausgewähltes Modell und fügt den transkribierten Text direkt in das aktuell fokussierte Eingabefeld ein. Um ehrlich
00:02:11zu sein, ist Handy in dieser Hinsicht nicht einzigartig. Viele andere Diktier-Anwendungen auf dem Markt funktionieren ähnlich.
00:02:17Was mir aber am meisten gefällt: Sie können Ihr bevorzugtes Modell selbst wählen, und jedes
00:02:22aufgeführte Modell verfügt über eine Anzeige für Geschwindigkeit und Genauigkeit. Es ist also fast wie die Wahl Ihres
00:02:28Lieblingscharakters in Mario Kart. Sie entscheiden, welche Metrik für Sie Priorität hat. In meinem Fall funktioniert
00:02:34das Modell “Parakeet Unified” mit 0,6 Milliarden Parametern hervorragend, da Parakeet ein reines
00:02:42CPU-Modell ist. Nach eigenen Angaben läuft es auf einem Mittelklasse-i5-Prozessor mit etwa fünfmal
00:02:48höherer Geschwindigkeit als Echtzeit. Mein M2 Max liegt weit über diesen Spezifikationen. Ich merke also nicht einmal, wenn es im
00:02:54Hintergrund läuft. Und es stehen noch so viele weitere Optionen zur Auswahl. Es gibt sogar Modelle, die speziell
00:02:59für eine einzelne Sprache gedacht sind, wie etwa für Russisch oder Ukrainisch. Und ich liebe die Ehrlichkeit
00:03:05im Leitbild von Handy: Handy versucht gar nicht, die beste Speech-to-Text-App zu sein.
00:03:11Es versucht, die am einfachsten anpassbare (forkbare) zu sein. Sie können sogar Ihre eigenen feinabstimmten Whisper-
00:03:17GGML-Modelle in den Ordner der App legen, sie neu starten, und schon erscheint es als eigene Option.
00:03:23Der Hauptgrund, warum ich Handy jederzeit etwas wie Whisperflow vorziehen würde,
00:03:28ist, dass Handy einfach offline funktioniert. Ich muss kein Konto erstellen und es gibt kein Abo.
00:03:34Und ich weiß mit Sicherheit, dass alle meine Diktat-Audiodateien auf meinem Gerät bleiben und nicht
00:03:40heimlich zum Trainieren anderer Sprachmodelle genutzt werden. Ich bin also sehr froh, dass wir jetzt ein MIT-
00:03:46lizenziertes Diktier-Tool wie dieses haben. Das klingt alles super, aber stellen wir Handy auf die Probe
00:03:52und sehen wir, wie es sich schlägt. Ich werde die Leistung von Handy mit Whisperflow vergleichen und auch mit
00:03:58Googles eigenem Transkriptionsdienst, der hier in Google Docs verfügbar ist. Hier auf der Google Docs-Seite
00:04:05aktiviere ich Googles eigene Spracheingabe. Und gleichzeitig halte ich
00:04:11Handys Transkriptions-Shortcut gedrückt. Dann rede ich einfach mal frei drauf los. Am Ende
00:04:18sehen wir, welches Ergebnis uns die jeweiligen Dienste liefern, und vergleichen die beiden.
00:04:26Gestern war ich einkaufen, und auf dem Heimweg fiel mir plötzlich wieder ein, dass ich
00:04:34zurück muss, um meine SQLite-Datenbank mit einem COBOL-Dienst zu verbinden, der auf meinem eigenen GPU-Cluster läuft.
00:04:43Ich wusste gar nicht, wie das geht. Also musste ich um Hilfe bitten. Das einzige Tool, das mir einfiel und mir helfen konnte,
00:04:55war ein LLM namens Grok. Dann hat mir auch ChatGPT ein wenig geholfen. Am Ende
00:05:04hatten wir eine funktionierende Anwendung laufen, aber es war ein echt großer Aufwand. Trennen wir die beiden mal.
00:05:12Wie Sie hier sehen können, ist der Spracheingabedienst von Google viel schlechter. Er setzt keinerlei Satzzeichen.
00:05:20Er weiß nicht, wie man Sätze unterteilt. Er hat COBOL nicht richtig erkannt. Er hat SQLite-Datenbank
00:05:27nicht richtig erkannt. Er hat nicht einmal das Wort LLM richtig verstanden. Er dachte, Grok sei “rock”. Und das hier
00:05:35ist mein Favorit: Er dachte, ChatGPT sei “Chad GPT”. Chad GPT. Nett. Tja. Man sieht also
00:05:45ganz deutlich, dass Handy viel besser ist, weil es Satzzeichen setzt. Es erkennt bestimmte Begriffe,
00:05:52und hat die meisten Fachbegriffe korrekt verstanden. Vergleichen wir dieses Ergebnis nun auch mit
00:05:58Whisperflow. Ich versuche, denselben Text so genau wie möglich zu wiederholen, um den Test fair zu halten.
00:06:08Gestern war ich einkaufen, und auf dem Rückweg fiel mir plötzlich wieder ein, dass ich
00:06:16nach Hause muss, um meine SQLite-Datenbank mit einem COBOL-Dienst zu verbinden, der auf meinem eigenen GPU-Cluster läuft.
00:06:26Ich wusste eigentlich nicht, wie das geht, also musste ich um Hilfe bitten. Das einzige Tool, das mir einfiel
00:06:33und mir helfen konnte, war ein LLM namens Grok. Und dann hat mir auch ChatGPT ein wenig geholfen.
00:06:41Am Ende hatten wir eine funktionierende Anwendung laufen, aber es war ein wirklich großer Aufwand.
00:06:48Okay. Und man sieht ganz klar, dass Whisperflow die beste Arbeit geleistet hat. Es hat die Sätze korrekt getrennt
00:06:55und alle Begriffe richtig erkannt. Da es sich um eine kommerzielle Anwendung handelt, erwartet man natürlich,
00:07:03dass sie besser ist als das Open-Source-Tool. Aber ehrlich gesagt gibt es gar keinen so großen Unterschied
00:07:09zwischen diesem Ergebnis und dem von Whisperflow. Ich bevorzuge daher immer noch Handy, einfach weil es kostenlos,
00:07:17datenschutzfreundlich und Open Source ist. Aber Whisperflow hat hier sehr gute Arbeit geleistet, es ist also trotzdem ein solider Dienst.
00:07:25Da haben Sie es also, Leute. Das ist Handy auf den Punkt gebracht. Ich habe nicht gescherzt, als ich sagte,
00:07:30dass dies wirklich mein Lieblings-Diktier-Tool geworden ist. Ich habe ehrlich gesagt Angst, dass ich verlerne,
00:07:36wie man auf der Tastatur tippt, wenn ich es zu intensiv nutze. Aber das sind nur meine Gedanken und Beobachtungen.
00:07:42Was denken Sie über Handy? Haben Sie es ausprobiert? Werden Sie es nutzen? Lassen Sie es uns in den Kommentaren
00:07:47unten wissen. Und Leute, wenn Ihnen diese Art von technischen Analysen gefällt, lassen Sie es mich wissen,
00:07:52indem Sie auf den Like-Button unter dem Video klicken. Und vergessen Sie nicht, unseren Kanal zu abonnieren.
00:07:57Das war Andres von BetterStack, und wir sehen uns in den nächsten Videos!