هوش مصنوعی روی میز شما: تنظیمی عملی برای کار روزمره

اکثر افرادی که از هوش مصنوعی در محل کار استفاده می‌کنند، گیر کرده‌اند در کپی کردن و جایگذاری متن در یک پنجره چت در تب مرورگر، و هر بار که نیاز به کمک دارند زمینه را تغییر می‌دهند. این روش برای سؤالات گاه‌گاه کار می‌کند، اما وقتی هر ساعت چندین بار از هوش مصنوعی در کدنویسی، نوشتن و تحقیق استفاده می‌کنید، دچار مشکل می‌شود. این راهنما روشی را پوشش می‌دهد که هوش مصنوعی را نزدیک جایی نگه می‌دارد که قبلاً کار می‌کنید، با توجه به هزینه، حریم خصوصی و سرعت.

مدل مناسب را برای کار مناسب انتخاب کنید

هر کار نیاز به استدلال GPT-4-class ندارد. اگر خلاصه‌ای از رونوشت جلسه تهیه می‌کنید یا یک ایمیل را دوباره می‌نویسید، یک مدل کوچک‌تر و سریع‌تر کار را در کسری از زمان و هزینه انجام می‌دهد. چیزی مثل Llama 3.1 8B یا Mistral 7B را به صورت محلی از طریق Ollama برای کارهای سریع و کم‌خطر اجرا کنید:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

مدل‌های بزرگ‌تر میزبان‌شده (GPT-4o، Claude 3.5 Sonnet) را برای کارهایی که نیاز به استدلال واقعی دارند ذخیره کنید: رفع اشکال یک stack trace پیچیده، پیش‌نویس یک پیشنهاد فنی، یا بررسی تصمیمات معماری. تقسیم کار به این روش هزینه API شما را به میزان قابل توجهی کاهش می‌دهد اگر طبق توکن پرداخت می‌کنید، و مدل‌های محلی در میلی‌ثانیه به جای ثانیه برای فراخوانی API رفت‌وبرگشتی پاسخ می‌دهند.

هوش مصنوعی را در ویرایشگر خود متصل کنید، نه مرورگر

اگر کد می‌نویسید، بالاترین اثر را داشته‌اید به قرار دادن هوش مصنوعی مستقیماً در IDE. VS Code با افزونه Continue به شما امکان می‌دهد یا به یک مدل محلی Ollama یا به یک کلید API ابری اشاره کنید، و می‌توانید کد را انتخاب کنید و به جای تایپ دوباره‌ای متن در پنجره چت، سؤالات درون‌خطی بپرسید.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

برای کار پایانه، ابزارهایی مثل aichat یا یک تابع پوسته ساده که OpenAI CLI را بسته بندی می‌کند، شما را از باز کردن مرورگر نجات می‌دهند:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

آن را با ask "explain this regex: ^(?=.*[A-Z]).{8,}$" فراخوانی کنید و بدون ترک پوسته پاسخی دریافت کنید.

داده‌های حساس را از سرور‌های شخص ثالث دور نگه دارید

قبل از اینکه چیزی را در یک مدل ابری جایگذاری کنید، بپرسید آیا حاوی داده‌های مشتری، اعتبارات یا کد مالکانه است که شرکت شما نمی‌خواهد شبکه‌اش را ترک کند. بسیاری از تیم‌ها یک قانون ساده تعیین می‌کنند: هر چیزی که به codebases یا PII داخلی دسترسی دارد از طریق یک مدل محلی یا یک API سطح سازمانی با توافق صفر-نگهداری، و همه چیز دیگر می‌تواند به یک ابزار سطح مصرف‌کننده برود.

Ollama در حال اجرا روی ماشینی با یک GPU مناسب (یک RTX 4070 یا بهتر به راحتی مدل‌های 7B-13B را پردازش می‌کند) بیشتر پیش‌نویس روزمره و بازبینی کد را بدون یک بایت را از لپ‌تاپ خود ترک می‌کند پوشش می‌دهد. برای کار محلی سنگین‌تر، مدل‌های quantized (Q4_K_M یا Q5_K_M) مقدار کمی از دقت را برای سرعت و استفاده حافظه کمتر تبادل می‌کنند.

به جای تکرار prompts، اسکریپت‌های کوچک بسازید

اگر متوجه شوید که همان ساختار prompt را دوباره و دوباره تایپ می‌کنید، آن را به اسکریپت تبدیل کنید. یک خلاصه‌گر standup روزانه که از git log شما می‌کشد، نقطه شروع خوبی است:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

این نوع اتوماسیون کوچک تجمع می‌یابد. پنج دقیقه در روز در سراسر تیمی از ده نفر در یک ماه به ساعت‌های واقعی اضافه می‌شود، و اصطکاک را حذف می‌کند که مردم را از استفاده از ابزار هوش مصنوعی منع می‌کند.

بر روی حالت‌های شکست نظارت کنید

هوش مصنوعی روی میز شما هنوز در روش‌های خاص و قابل‌پیش‌بینی اشتباه می‌کند: نام‌های تابع را جعل می‌کند که در codebase شما وجود ندارند، indentation-sensitive کد را غلط می‌خواند، و با اطمینان syntax library فرسوده را می‌دهند. همیشه کد تولید‌شده را قبل از اعتماد به آن اجرا کنید، و هر ادعای واقعی (یک CVE number، رفتار پیش‌فرض library، تاریخ deprecation) را چیزی برای تأیید مستقل برای تصدیق کنید، نه اینکه از روی چهره‌ای آن را بپذیرید.

هدف جایگزین کردن قضاوت شما با خروجی مدل نیست. هدف کاهش زمان بین داشتن یک سؤال و دریافت یک پیش‌نویس مفید اول از یک پاسخ است، بنابراین بیشتر روز خود را در بخش‌های کاری که واقعاً نیاز به انسان دارند صرف می‌کنید.

اگر می‌خواهید با مدل‌های محلی، طراحی prompt یا scripting ابزار‌های خود را اطراف آن‌ها پیش بروید، بخش‌های AI و Scripting را در Korra Studio بررسی کنید.