あなたの机のAI：日常業務のための実践的セットアップ

仕事でAIを使っている人の多くは、ブラウザタブのチャットウィンドウに貼り付けるだけで、助けが必要になるたびにコンテキストを切り替えている。たまの質問ならそれで済むが、コーディング、執筆、リサーチで1時間に何度もAIを使うようになると、その方法は通用しなくなる。このガイドは、コスト、プライバシー、スピードを考慮しながら、AIをすでに作業しているその場に置く方法をカバーしている。

仕事に合ったモデルを選ぶ

すべてのタスクがGPT-4クラスの推論を必要とするわけではない。会議のトランスクリプトを要約したり、メールを書き直したりする場合、より小さく高速なモデルで、その何分の一かの時間とコストで済ませられる。Ollama経由でLlama 3.1 8BやMistral 7Bのようなものをローカルで実行して、低リスクのタスクを高速に処理しよう。

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

本当の推論が必要なタスク（複雑なスタックトレースのデバッグ、技術提案の作成、アーキテクチャ決定の検討）には、より大きなホストモデル（GPT-4o、Claude 3.5 Sonnet）を取り置こう。このように仕事を分割すると、トークン単位の課金制ならAPIの請求額を大幅に削減でき、ローカルモデルはAPIラウンドトリップの秒単位の遅延に対してミリ秒で応答する。

AIをブラウザではなくエディタに組み込む

コードを書くなら、最も効果的な方法はAIをIDEに直接組み込むことだ。VS CodeとContinue拡張機能を使えば、ローカルのOllamaモデルまたはクラウドAPIキーを指向でき、コンテキストをチャットウィンドウに再入力する代わりに、コードを選択してインラインで質問できる。

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

ターミナルでの作業には、aichatやOpenAI CLIをラップしたシンプルなシェル関数のようなツールを使えば、ブラウザを開く必要がない。

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

ask "explain this regex: ^(?=.*[A-Z]).{8,}$"で実行して、シェルを出ることなく答えを得よう。

機密データをサードパーティサーバーから遠ざける

クラウドモデルに何かを貼り付ける前に、それに顧客データ、認証情報、会社がネットワーク外に出したくない独自コードが含まれているかを確認しよう。多くのチームは簡単なルールを設ける。内部コードベースやPIIに関わるものはローカルモデルまたは保持期間ゼロの契約条件があるエンタープライズティアAPIを経由し、その他のものはコンシューマーティアツールに送ってもよい、という具合だ。

適切なGPUを搭載したマシン（単一のRTX 4070以上は7B〜13Bモデルを問題なく処理できる）でOllamaを実行すれば、ほとんどの日常的なドラフト作成とコード検討が、1バイトもラップトップから出ることなく済む。より重いローカルワークには、量子化モデル（Q4_K_MまたはQ5_K_M）を使って、精度をわずかに落とし、スピードとメモリ使用量を下げる。

プロンプトの繰り返しの代わりに小さなスクリプトを作る

プロンプト構造を何度も繰り返しているのに気づいたら、スクリプトに変える。gitログから取得する日次スタンドアップサマライザーは良い出発点だ。

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

このような小さな自動化は複合的に効く。1日あたり5分の節約が10人のチームなら1ヶ月で実時間に変わり、AIツールの使用を避けさせる摩擦を取り除く。

障害モードに目を光らせる

あなたの机のAIは依然として特定で予測可能な方法で間違う。コードベースに存在しない関数名を作り出したり、インデンテーションに敏感なコードを誤読したり、自信たっぷりに時代遅れのライブラリ構文を与えたりする。生成されたコードを信頼する前に常に実行し、事実の主張（CVE番号、ライブラリのデフォルト動作、廃止予定日）はすべて、表面的に受け取るのではなく、独立して検証すべきものとして扱おう。

ゴールはモデルの出力であなたの判断を置き換えることではない。質問を持つことと有用な第一草案の答えを得ることの間の時間を短縮すること、それで実際に人間が必要な仕事の部分に1日の大部分を費やせるようにすることだ。

ローカルモデル、プロンプト設計、またはそれらの周りに独自のツールをスクリプト化することをさらに掘り下げたければ、Korra StudioのAIとScriptingセグメントをチェックしよう。