AI 就在你的桌邊：日常工作的實務設置

大多數在工作中使用 AI 的人都困在瀏覽器分頁的聊天視窗裡，每次需要幫助時都得切換上下文。偶爾提問還可以接受，但一旦你在編碼、寫作和研究中每小時都要用到 AI 好幾次，這個方式就崩潰了。本指南介紹一個設置方案，將 AI 放在你已經工作的地方附近，並兼顧成本、隱私和速度。

為不同的工作挑選適合的模型

並非所有工作都需要 GPT-4 級別的推理能力。如果你在總結會議記錄或改寫電子郵件，一個更小、更快的模型能以遠少的時間和成本完成工作。通過 Ollama 在本地執行 Llama 3.1 8B 或 Mistral 7B 這類模型來處理快速、低風險的任務：

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

把較大的託管模型（GPT-4o、Claude 3.5 Sonnet）留給需要真正推理的工作：除錯複雜的堆棧追蹤、起草技術提案或檢視架構決策。這樣分配工作能顯著降低你的 API 帳單（如果你按代幣付費的話），而且本地模型的回應時間是毫秒級而非 API 往返調用的秒級。

把 AI 整合進編輯器，而不是瀏覽器

如果你寫程式碼，最高效的做法是把 AI 直接放進你的 IDE。VS Code 配合 Continue 擴充功能，讓你指向本地 Ollama 模型或雲端 API 金鑰，然後選擇程式碼並內聯提問，不用把上下文重新輸入到聊天視窗裡。

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

對於終端工作，使用 aichat 這類工具或包裝 OpenAI CLI 的簡單 shell 函式可以完全不用打開瀏覽器：

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

用 ask "explain this regex: ^(?=.*[A-Z]).{8,}$" 呼叫它，就能直接在 shell 中得到答案。

不要把敏感資料放到第三方伺服器上

在把任何東西貼進雲端模型之前，先問問它是否包含客戶資料、認證資訊或你公司不希望傳出網路的專有程式碼。許多團隊設定一個簡單的規則：任何涉及內部程式碼庫或個人識別資訊的內容都要通過本地模型或簽有零保留協議的企業級 API，其他一切都可以交給消費者級工具。

Ollama 在配備不錯 GPU 的機器上執行（單張 RTX 4070 或更好的顯卡可以輕鬆處理 7B-13B 模型）能涵蓋大部分日常的文案撰寫和程式碼審查，而不會有任何位元組離開你的筆記本電腦。對於更重的本地工作，量化模型（Q4_K_M 或 Q5_K_M）用少量精度換取速度和更低的記憶體使用。

建立小指令碼，而不是重複輸入提示

如果你發現自己一遍遍輸入相同的提示結構，就把它變成一個指令碼。一個從 git 日誌提取資料的日常站立會議總結器是個好的開始：

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

這種小型自動化會不斷累積。十人團隊每天節省五分鐘，一個月下來就成了實實在在的時數，而且它消除了讓人們避免使用 AI 工具的摩擦。

留意故障模式

AI 在你的桌邊仍然會以特定的、可預測的方式出錯：它虛構程式碼庫中不存在的函式名、誤讀對縮排敏感的程式碼，自信地給出過時的程式庫語法。執行生成的程式碼前一定要測試，把任何事實性聲明（CVE 號、程式庫的預設行為、棄用日期）當作需要獨立驗證的事項，而不是照單全收。

目標不是用模型的輸出取代你的判斷。而是縮短從有問題到得到有用的第一稿答案之間的時間，這樣你就能把更多時間花在工作中真正需要人類的部分。

如果你想深入瞭解本地模型、提示工程或為這些工具編寫自己的指令碼，可以查看 Korra Studio 上的 AI 和 Scripting 部分。