マイクから声が返るまで
Raspberry Pi 5を使った音声対話系で、マイク入力から音声認識、LLMによる回答生成、VOICEVOXによる読み上げ、スピーカー出力まで一連の経路が動作するようになりました。
現在の実機では、SPH0645 I2S MEMSマイク、faster-whisper、OllamaのローカルLLM、VOICEVOX、MAX98357Aアンプを組み合わせています。詩葉の会話音声にはVOICEVOX「冥鳴ひまり(ノーマル)」を採用しました。
「会話できる機械」から一歩先へ
声が返ってくるだけなら音声アシスタントです。しかし詩葉では、この会話系を将来の視線、表情、腕の動作、デスクトップ表示、受付機能へつないでいきます。
話しているときに視線を向ける。考えているときにデスクトップの姿が変わる。異常時には通常の会話音声とは別に状態音声を出す。音声は詩葉の各身体をつなぐ重要な表現層になりました。
まだ改善途中
現状は固定時間録音など試作段階の部分も残っています。本番ではWake Word、VAD、安全確認を含むより自然な会話パイプラインへ更新する計画です。
それでも、「声をかけると詩葉の声が返ってくる」という最初の大きな体験は、すでに実機上で形になっています。