AI Tại Bàn Làm Việc: Cách Thiết Lập Thực Tế Cho Công Việc Hàng Ngày

Hầu hết những người dùng AI tại nơi làm việc đều mắc kẹt trong việc sao chép và dán vào cửa sổ trò chuyện trên trình duyệt, chuyển đổi ngữ cảnh mỗi lần cần sự trợ giúp. Điều đó hoạt động nếu bạn chỉ có một vài câu hỏi, nhưng sẽ gặp vấn đề ngay khi bạn sử dụng AI nhiều lần trong một giờ trên mã hóa, viết lách và nghiên cứu. Hướng dẫn này bao gồm một cách thiết lập giữ AI gần với nơi bạn đã làm việc, với sự chú ý đến chi phí, quyền riêng tư và tốc độ.

Chọn mô hình phù hợp cho công việc phù hợp

Không phải mọi tác vụ đều cần suy luận ở cấp độ GPT-4. Nếu bạn đang tóm tắt bản ghi âm cuộc họp hoặc viết lại email, một mô hình nhỏ hơn và nhanh hơn sẽ thực hiện công việc trong một phần nhỏ thời gian và chi phí. Chạy thứ gì đó như Llama 3.1 8B hoặc Mistral 7B cục bộ thông qua Ollama cho những tác vụ nhanh, rủi ro thấp:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

Dành các mô hình được lưu trữ lớn hơn (GPT-4o, Claude 3.5 Sonnet) cho những tác vụ cần suy luận thật: gỡ lỗi một stack trace phức tạp, soạn thảo một đề xuất kỹ thuật, hoặc xem xét quyết định kiến trúc. Chia công việc theo cách này sẽ giảm đáng kể hoá đơn API của bạn nếu bạn thanh toán theo token, và các mô hình cục bộ phản hồi trong milliseconds so với giây cho các cuộc gọi API theo chu kỳ.

Kết nối AI vào trình chỉnh sửa của bạn, không phải trình duyệt

Nếu bạn viết mã, bước có tác động cao nhất là đặt AI trực tiếp vào IDE của bạn. VS Code với tiện ích mở rộng Continue cho phép bạn trỏ đến một mô hình Ollama cục bộ hoặc một khóa API dựa trên đám mây, và bạn có thể chọn mã và đặt câu hỏi nội tuyến thay vì gõ lại ngữ cảnh vào cửa sổ trò chuyện.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

Đối với công việc terminal, những công cụ như aichat hoặc một hàm shell đơn giản bao bọc CLI OpenAI giúp bạn tránh mở trình duyệt hoàn toàn:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

Gọi nó với ask "explain this regex: ^(?=.*[A-Z]).{8,}$" và nhận được một câu trả lời mà không rời shell.

Giữ dữ liệu nhạy cảm ngoài các máy chủ của bên thứ ba

Trước khi bạn dán bất cứ thứ gì vào một mô hình dựa trên đám mây, hãy hỏi liệu nó có chứa dữ liệu khách hàng, thông tin xác thực, hoặc mã độc quyền mà công ty của bạn không muốn rời khỏi mạng của mình. Nhiều nhóm đặt ra một quy tắc đơn giản: bất cứ điều gì liên quan đến các cơ sở mã nội bộ hoặc PII đều đi qua một mô hình cục bộ hoặc một API cấp doanh nghiệp có thỏa thuận giữ lại bằng không, và mọi thứ khác có thể đi đến một công cụ cấp tiêu dùng.

Ollama chạy trên một máy có GPU tốt (một single RTX 4070 hoặc tốt hơn xử lý các mô hình 7B-13B một cách thoải mái) bao gồm hầu hết công việc soạn thảo hàng ngày và xem xét mã mà không có một byte nào rời khỏi laptop của bạn. Đối với công việc cục bộ nặng hơn, các mô hình lượng tử hóa (Q4_K_M hoặc Q5_K_M) đánh đổi một lượng nhỏ độ chính xác để có tốc độ và sử dụng bộ nhớ thấp hơn.

Xây dựng các tập lệnh nhỏ thay vì lặp lại các yêu cầu

Nếu bạn thấy mình đang gõ cùng một cấu trúc yêu cầu lặp đi lặp lại, hãy biến nó thành một tập lệnh. Một công cụ tóm tắt standup hàng ngày kéo từ git log của bạn là một điểm khởi đầu tốt:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

Loại tự động hóa nhỏ này ghép lại. Năm phút tiết kiệm mỗi ngày trên một nhóm mười người cộng lại thành các giờ thực tế trong một tháng, và nó loại bỏ ma sát khiến mọi người tránh sử dụng các công cụ AI ở chỗ đầu tiên.

Theo dõi các chế độ lỗi

AI tại bàn làm việc của bạn vẫn sai trong những cách cụ thể, dự đoán được: nó tạo ra các tên hàm không tồn tại trong cơ sở mã của bạn, hiểu sai mã nhạy cảm với thụt đầu dòng, và tự tin cung cấp cú pháp thư viện lỗi thời. Luôn chạy mã được tạo trước khi tin tưởng nó, và coi bất kỳ yêu cầu thực tế nào (một số CVE, hành vi mặc định của thư viện, ngày không dùng nữa) như thứ cần xác minh độc lập hơn là lấy tại mặt giá trị.

Mục tiêu không phải thay thế phán xét của bạn bằng kết quả của mô hình. Đó là cắt giảm thời gian giữa việc có một câu hỏi và nhận được một bản nháp hữu ích đầu tiên về câu trả lời, vì vậy bạn dành phần lớn thời gian của mình cho những phần công việc thực sự cần một con người.

Nếu bạn muốn đi xa hơn với các mô hình cục bộ, thiết kế yêu cầu, hoặc tạo script các công cụ của riêng bạn xung quanh chúng, hãy kiểm tra các phân đoạn AI và Scripting tại Korra Studio.