Как избавиться от ручного набора протоколов встреч с помощью Whisper на защищенном ПК без интернета
makedream٣٠ يوليو ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
Задерживаться на работе на целый час из-за составления протоколов встреч в отделе разработки или серверной финансовой компании, куда даже не войти без карты доступа — настоящее мучение. Запрашивать платные ИИ-инструменты бесполезно — отдел информационной безопасности никогда их не ободрит, поэтому остается только ручной ввод. Однако с помощью Handy, локального инструмента распознавания речи с открытым исходным кодом, можно избавиться от этой проблемы. Это оптимизированная настройка, которая запускает модель исключительно на вашем ноутбуке и не отправляет во внешнюю сеть ни единого байта аудиоданных.
Даже если Handy работает только локально, с точки зрения службы безопасности программа все равно выглядит подозрительно. Поскольку она может загружать начальные модели или пакеты обновлений, для собственного спокойствия стоит принудительно заблокировать сетевые пакеты на уровне операционной системы.
В среде Windows открыйте командную строку от имени администратора и добавьте правило для исходящего трафика вручную:
netsh advfirewall firewall add rule name="Block Handy Outbound OUT" dir=out program="%LOCALAPPDATA%\Programs\handy\Handy.exe" action=block enable=yes.netsh advfirewall firewall show rule name="Block Handy Outbound OUT", чтобы лично убедиться в блокировке.Если вы используете macOS, достаточно в Little Snitch 6 заблокировать пакеты Handy для «Connections to Any Server» в режиме Always Deny. Это одно действие полностью исключает вероятность возникновения трафика, нарушающего правила безопасности.
Также стоит обратить внимание на настройку горячих клавиш. Handy использует библиотеку rdev языка Rust для перехвата глобального ввода, из-за чего часто возникают конфликты с системными сочетаниями клавиш. Назначение клавиши Push-to-Talk на Option + Space в macOS или Alt + Space в Windows будет наиболее удобным и аккуратным решением.
Архитектура OpenAI Whisper устроена так, что текстовый декодер предсказывает следующее слово на основе предыдущих. Если заполнить параметр initial_prompt этого декодера часто используемыми словами и названиями проектов в пределах лимита в 224 токена, количество ошибок распознавания заметно снизится. Именно поэтому уровень ошибок в словах (WER) снижается даже без дополнительного обучения модели.
Ниже приведена запись встречи по IT-разработке и архитектуре. Основные термины: Kubernetes, CI/CD, React Native, Rust, Obsidian, AutoHotkey, PostgreSQL, gRPC, Docker, PR, Issue, Sprint.Также необходимо устранить эффект галлюцинаций, когда при сильном фоновом шуме подряд непрерывно печатаются определенные слова. Если уменьшить значение n_max_text_ctx, определяющее размер окна текстового контекста, до 128 и зафиксировать значение temperature на уровне 0.0, случайная генерация текста прекратится.
По умолчанию Handy помещает распознанный текст в буфер обмена. Проблема заключается в том, что скопированный ранее код при этом перезаписывается. Гораздо удобнее отправлять текст с меткой времени напрямую в ежедневную заметку Obsidian (.md) в обход буфера обмена.
В среде Windows эту задачу можно решить с помощью скрипта AutoHotkey.
VaultPath := "C:\Users\" . A_UserName . "\ObsidianVault\DailyNotes\" . CurrentDate . ".md") и команду добавления текста в файл (FileAppend, %LogEntry%, %VaultPath%, UTF-8).После настройки этой автоматизации более 40 минут, которые ежедневно тратились на набор текста и переключение между окнами, сократятся примерно до 3 минут.
Вы также можете сделать так, чтобы при произнесении определенных управляющих слов автоматически применялось разметка Markdown. Например, если вы скажете «ввести agenda», скрипт распознает это и заменит текст на заголовок ### 📌 안건, а «action item» превратит в чекбокс #### ✅ 액션 아이템.
Handy использует формат GGML/GGUF на базе whisper.cpp. Если уменьшить веса модели с FP16 до уровня Q5_1 (5.5 бит) или Q4_1 (4 бит), потребление оперативной памяти сократится примерно в три раза.
Для MacBook Air M2 или ноутбука со встроенной графикой отлично подойдет модель Whisper Small (Q5_1). При объеме на диске 250 МБ она занимает около 350 МБ ОЗУ, поэтому не создает нагрузки на запущенную среду разработки. В случае с настольным ПК с мощной видеокартой можно загрузить модель Whisper Large-v3 (Q5_1), чтобы повысить точность распознавания.
Порядок действий для оптимизации объема занимаемой памяти:
C:\Users\{username}\AppData\Roaming\com.pais.handy\models\) и полностью удалите неиспользуемые крупные файлы моделей (.bin) размером в несколько гигабайт.Зависания и задержки из-за узких мест в потоках при конвертации долгих встреч связаны с неправильной настройкой количества физических ядер. Не настраивайте количество потоков по числу логических ядер технологии Hyper-Threading; значение n_threads должно соответствовать числу actual physical core 1:1, чтобы работа шла стабильно и без избыточных затрат на переключение контекста.