ネットの切れたセキュリティPCでWhisperを使い議사録タイピングをなくす方法
makedream٣٠ يوليو ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
セキュリティカードがないと入室すらできない開発室や金融機関の電算室で、議事録作成のために毎日1時間ずつ残業するのは本当に苦痛だ。有料のAIツールを申請したところで情報セキュリティチームの承認が下りるはずもなく、結局は手入力しか方法がない。オープンソースのローカル音声認識ツールであるHandyを使用すれば、この苦痛から解放される。オーディオデータを外部サーバーへ1バイトも送信せず、自分のノートPC内だけで完結させる最適化設定を紹介する。
Handyがローカルのみで動作するプログラムだとしても、セキュリティチームの視点からは依然として疑わしい。初期モデルのダウンロードやアップデートのパケットが送信される可能性があるため、OSレベルでネットワークパケットを強制的に拒否しておくと安心だ。
Windows環境の場合は、コマンドプロンプトを管理者権限で開き、アウトバウンドルールを直接注入すればよい。
netsh advfirewall firewall add rule name="Block Handy Outbound OUT" dir=out program="%LOCALAPPDATA%\Programs\handy\Handy.exe" action=block enable=yes を実行する。netsh advfirewall firewall show rule name="Block Handy Outbound OUT" を入力し、遮断状態を直接確認する。macOSを使用している場合は、Little Snitch 6でHandyのパケットを Connections to Any Server 基準で Always Deny に設定すれば完了だ。この一行の設定でセキュリティ規定違反のトラフィックが発生する確率はゼロになる。
ショートカットキーの設定にも注意が必要だ。HandyはRust言語のrdevライブラリでグローバル入力キーを検知するため、システム標準のショートカットキーと頻繁に衝突する。macOSは Option + Space、Windowsは Alt + Space の組み合わせをPush-to-Talkキーとして割り当てるのがスマートだ。
OpenAI Whisperのアーキテクチャは、テキストデコーダーが以前に出現した単語から次の単語を予測する構造になっている。このデコーダーの initial_prompt パラメーターに、よく使う単語やプロジェクト名を224トークンの制限内で入力しておくと、誤認識が目に見えて減る。モデルを再学習させなくても単語エラー率（WER）が低下する理由はここにある。
以下はIT開発およびアーキテクチャに関する会議です。主要用語: Kubernetes, CI/CD, React Native, Rust, Obsidian, AutoHotkey, PostgreSQL, gRPC, Docker, PR, Issue, Sprint.背景ノイズが激しいときに特定の単語が連続して入力されるハルシネーション現象も防ぐ必要がある。テキストコンテキストウィンドウのサイズを決定する n_max_text_ctx の値を 128 に下げ、temperature の値を 0.0 に固定すると、無作為なテキスト生成が停止する。
Handyの基本動作は、変換されたテキストをクリップボードにコピーする方式だ。問題は、事前にコピーしておいたコードが上書きされてしまう点にある。クリップボードを経由せず、Obsidianのデイリーノート（.md）ファイルにタイムスタンプとともに直接追記する方がはるかに効率的だ。
Windows環境では、AutoHotkeyスクリプトを1つ起動しておけば解決する。
VaultPath := "C:\Users\" . A_UserName . "\ObsidianVault\DailyNotes\" . CurrentDate . ".md"）とファイルテキスト追加構文（FileAppend, %LogEntry%, %VaultPath%, UTF-8）を記述する。この自動化セットアップを完了すれば、毎日タイピングやウィンドウ切り替えに費やしていた40分以上の時間が3分程度に短縮される。
話す際に特定の制御語を使用することで、マークダウンのフォーマットが自動的に整うようにすることも可能だ。「議題入力」と発話するとスクリプトが認識して ### 📌 議題 ヘッダーに変換し、「アクションアイテム」は #### ✅ アクションアイテム のチェックボックスに変換するといった仕組みだ。
Handyは whisper.cpp ベースの GGML/GGUF フォーマットを使用している。FP16モデルの重みを Q5_1（5.5ビット）や Q4_1（4ビット）レベルまで縮小すると、使用可能なRAM消費量が3分の1程度まで低下する。
M2 MacBook Airや内蔵グラフィックス搭載のノートPCであれば、Whisper Small（Q5_1）モデルが適している。ディスク容量は250MB、メモリ占有率も350MB前後であるため、実行中の開発環境を圧迫しない。グラフィックボードのスペックに余裕があるデスクトップ環境であれば、Whisper Large-v3（Q5_1）モデルを読み込ませて認識率を極限まで高めるとよい。
メモリ常駐容量を最適化する手順は以下の通りだ。
C:\Users\{username}\AppData\Roaming\com.pais.handy\models\）に移動し、使用していないGB単位の大型モデルファイル（.bin）をすべて削除する。長い会議を変換する際にスレッドのボトルネックでフリーズするのは、物理コア数の設定問題だ。ハイパースレッディングによる論理コア数に合わせるのではなく、actual physical core 数と1:1でスレッド数（n_threads）をマッチングさせることで、スワッピングオーバーヘッドなしにスムーズに動作する。