Comment supprimer la saisie des compte-rendus de réunion avec Whisper sur un PC sécurisé sans accès Internet
makedream٣٠ يوليو ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
Faire des heures supplémentaires pendant 1 heure juste pour rédiger des compte-rendus de réunion dans une salle de développement où l'on ne peut même pas entrer sans carte de sécurité ou dans la salle informatique d'une institution financière est vraiment pénible. Faire une demande pour un outil d'IA payant n'a aucune chance d'être approuvé par l'équipe de sécurité de l'information, et la seule solution reste la saisie manuelle. L'utilisation de Handy, un outil open source de reconnaissance vocale locale, permet de se libérer de cette souffrance. Il s'agit d'une configuration optimisée qui fait tourner l'audio uniquement à l'intérieur de votre ordinateur portable sans envoyer un seul octet vers un serveur externe.
Même si Handy est un programme qui tourne uniquement en local, il reste suspect du point de vue de l'équipe de sécurité. Comme des paquets de téléchargement de modèle initial ou de mise à jour pourraient sortir, il est plus rassurant de refuser de force les paquets réseau au niveau du système d'exploitation.
Sous Windows, il suffit d'ouvrir l'Invite de commandes en tant qu'administrateur et d'injecter directement une règle de trafic sortant.
netsh advfirewall firewall add rule name="Block Handy Outbound OUT" dir=out program="%LOCALAPPDATA%\Programs\handy\Handy.exe" action=block enable=yes.netsh advfirewall firewall show rule name="Block Handy Outbound OUT" pour vérifier directement le statut de blocage.Si vous utilisez macOS, il suffit de bloquer les paquets de Handy dans Little Snitch 6 sur la base de Connections to Any Server avec Always Deny. Avec cette seule ligne, la probabilité de générer du trafic violant les règles de sécurité devient nulle.
Il faut également faire attention à la configuration des raccourcis clavier. Handy détecte les touches d'entrée globales à l'aide de la bibliothèque rdev du langage Rust, ce qui entre souvent en conflit avec les raccourcis système par défaut. Sous macOS, il est plus propre d'attribuer la combinaison Option + Espace, et sous Windows Alt + Espace comme touche Push-to-Talk.
L'architecture d'OpenAI Whisper repose sur un décodeur de texte qui prédit le mot suivant à partir des mots précédents. En remplissant le paramètre initial_prompt de ce décodeur avec les mots individuels et les noms de projets que nous utilisons fréquemment dans la limite de 224 jetons (tokens), les erreurs de reconnaissance diminuent de manière spectaculaire. C'est la raison pour laquelle le taux d'erreur sur les mots (WER) baisse sans avoir à réentraîner le modèle.
Voici une réunion sur le développement IT et l'architecture. Termes principaux : Kubernetes, CI/CD, React Native, Rust, Obsidian, AutoHotkey, PostgreSQL, gRPC, Docker, PR, Issue, Sprint.Il faut aussi éliminer le phénomène d'hallucination où des mots spécifiques s'affichent en continu lorsque le bruit de fond est important. En réduisant la valeur de n_max_text_ctx, qui détermine la taille de la fenêtre de contexte textuel, à 128 et en fixant la valeur de temperature à 0.0, la génération aléatoire de texte s'arrête.
Le comportement par défaut de Handy consiste à placer le texte converti dans le presse-papiers. Le problème est que du code que vous aviez déjà coupé se retrouve écrasé. Il est bien préférable d'ajouter directement le texte avec un horodatage dans un fichier de note quotidienne Obsidian (.md) sans passer par le presse-papiers.
Sous Windows, le problème est résolu en laissant tourner un script AutoHotkey.
VaultPath := "C:\Users\" . A_UserName . "\ObsidianVault\DailyNotes\" . CurrentDate . ".md") et la syntaxe d'ajout de texte au fichier (FileAppend, %LogEntry%, %VaultPath%, UTF-8).Une fois cette configuration d'automatisation terminée, plus de 40 minutes gaspillées chaque jour à taper du texte et à changer de fenêtre sont réduites à environ 3 minutes.
Si vous utilisez des mots de contrôle spécifiques lorsque vous parlez, vous pouvez également faire en sorte que le format Markdown s'applique automatiquement. Par exemple, si vous dites "Saisir l'ordre du jour", le script le reconnaît et le transforme en en-tête ### 📌 Ordre du jour, et "Action item" est transformé en case à cocher #### ✅ Action item.
Handy utilise le format GGML/GGUF basé sur whisper.cpp. En réduisant les poids du modèle FP16 au niveau Q5_1 (5.5 bits) ou Q4_1 (4 bits), la consommation de RAM disponible chute à environ un tiers.
Pour un MacBook Air M2 ou un ordinateur portable avec carte graphique intégrée, le modèle Whisper Small (Q5_1) est approprié. Avec un espace disque de 250 Mo et une occupation mémoire d'environ 350 Mo, il ne surcharge pas l'environnement de développement en cours d'exécution. Si vous êtes sur un ordinateur de bureau avec une carte graphique puissante, vous pouvez charger le modèle Whisper Large-v3 (Q5_1) pour maximiser le taux de reconnaissance.
Voici la procédure pour optimiser l'empreinte mémoire résidente :
C:\Users\{username}\AppData\Roaming\com.pais.handy\models\) et supprimez tous les gros fichiers de modèles (.bin) de plusieurs Go que vous n'utilisez pas.Si la conversion d'une longue réunion saccade en raison d'un goulot d'étranglement des threads, cela provient d'un problème de configuration du nombre de cœurs physiques. Au lieu de vous calquer sur le nombre de cœurs logiques basés sur l'hyper-threading, vous devez faire correspondre le nombre de threads (n_threads) à 1:1 avec le nombre de cœurs physiques réels (actual physical core) pour tourner proprement sans surcoût de commutation (switching overhead).