今回やったこと
LLMを特定プロバイダーへ固定しないため、LLMBackendを抽象化し、Claude APIを優先・失敗時にOllamaへフォールバックするHybridBackend構成を導入した。
現在の構成
- Cloud: Claude API
- Local: Ollama / qwen2.5:3b
- APIキーは環境変数で管理
- Cloud側が失敗・タイムアウトした場合のみローカルへ切替
結果
資料上では、LLM応答時間が従来の4〜18秒程度から約2.7〜3.6秒へ短縮した記録がある。ローカルLLMはオフライン時の保険として維持する。
設計上の意味
Shiha Coreでは、人格や記憶をLLMそのものに依存させない。モデルは交換可能な推論エンジンとして扱い、ルーターを通して差し替えられる構成を基本とする。
次にやること
Desktop Hub側のルーター、タスク、記憶、デバイスイベントと共通のBackend interfaceへまとめる。