आपकी डेस्क पर AI: दैनिक काम के लिए एक व्यावहारिक सेटअप

अधिकांश लोग जो काम पर AI का उपयोग करते हैं, वे ब्राउज़र टैब में एक चैट विंडो में कॉपी-पेस्ट करने में फंसे हुए हैं, हर बार जब उन्हें सहायता चाहिए तो संदर्भ बदलते हैं। यह कभी-कभार सवालों के लिए काम करता है, लेकिन एक बार जब आप कोडिंग, लेखन और अनुसंधान के दौरान प्रति घंटा कई बार AI का उपयोग करते हैं, तो यह विफल हो जाता है। यह गाइड एक सेटअप को कवर करता है जो AI को आपके पास रखता है, जहां आप पहले से काम कर रहे हैं, लागत, गोपनीयता और गति पर ध्यान केंद्रित करते हुए।

सही काम के लिए सही मॉडल चुनें

हर कार्य को GPT-4-क्लास तर्क की आवश्यकता नहीं है। यदि आप मीटिंग ट्रांसक्रिप्ट का सारांश बना रहे हैं या किसी ईमेल को फिर से लिख रहे हैं, तो एक छोटा, तेज़ मॉडल कम समय और लागत में काम कर देता है। Ollama के माध्यम से स्थानीय रूप से Llama 3.1 8B या Mistral 7B जैसा कुछ चलाएं, तेज़, कम-दांव वाले कार्यों के लिए:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

बड़े होस्ट किए गए मॉडल (GPT-4o, Claude 3.5 Sonnet) को उन कार्यों के लिए आरक्षित करें जिन्हें असली तर्क की आवश्यकता है: एक गड़बड़ स्टैक ट्रेस को डीबग करना, एक तकनीकी प्रस्ताव का मसौदा तैयार करना, या आर्किटेक्चर निर्णयों की समीक्षा करना। इस तरीके से काम को विभाजित करना आपके API बिल को ध्यान देने योग्य रूप से कम करता है यदि आप प्रति टोकन भुगतान कर रहे हैं, और स्थानीय मॉडल API कॉल के लिए सेकंड के बजाय मिलीसेकंड में प्रतिक्रिया देते हैं।

AI को अपने ब्राउज़र में नहीं, अपने एडिटर में वायर करें

यदि आप कोड लिखते हैं, तो सबसे अधिक लाभ वाला कदम AI को सीधे अपने IDE में डालना है। Continue एक्सटेंशन के साथ VS Code आपको एक स्थानीय Ollama मॉडल या क्लाउड API कुंजी की ओर इशारा करने देता है, और आप कोड का चयन कर सकते हैं और एक चैट विंडो में संदर्भ को फिर से टाइप करने के बजाय इनलाइन सवाल पूछ सकते हैं।

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

टर्मिनल काम के लिए, aichat जैसे उपकरण या OpenAI CLI को लपेटने वाला एक सरल शेल फ़ंक्शन आपको बिना ब्राउज़र खोले बचाता है:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

ask "explain this regex: ^(?=.*[A-Z]).{8,}$" के साथ कॉल करें और शेल छोड़े बिना एक उत्तर पाएं।

संवेदनशील डेटा को तीसरे पक्ष के सर्वर से दूर रखें

इससे पहले कि आप किसी भी चीज़ को क्लाउड मॉडल में पेस्ट करें, यह पूछें कि क्या इसमें ग्राहक डेटा, साख, या मालिकाना कोड शामिल है जो आपकी कंपनी नहीं चाहती कि अपने नेटवर्क से बाहर जाए। कई टीमें एक सरल नियम निर्धारित करती हैं: कुछ भी जो आंतरिक कोडबेस या PII को छूता है, वह एक स्थानीय मॉडल या शून्य-प्रतिधारण समझौते वाले एंटरप्राइज-स्तरीय API के माध्यम से जाता है, और बाकी सब कुछ एक उपभोक्ता-स्तरीय उपकरण में जा सकता है।

एक अच्छे GPU वाली मशीन पर चल रहा Ollama (एक RTX 4070 या बेहतर 7B-13B मॉडल को आसानी से संभालता है) अधिकांश दैनिक मसौदा तैयारी और कोड समीक्षा को कवर करता है, बिना एक भी बाइट आपके लैपटॉप से बाहर जाए। भारी स्थानीय काम के लिए, क्वांटाइज़्ड मॉडल (Q4_K_M या Q5_K_M) गति और कम मेमोरी उपयोग के लिए सटीकता की एक छोटी राशि का व्यापार करते हैं।

प्रॉम्प्ट दोहराने के बजाय छोटी स्क्रिप्ट बनाएं

यदि आप पाते हैं कि आप बार-बार एक ही प्रॉम्प्ट संरचना टाइप कर रहे हैं, तो इसे एक स्क्रिप्ट में बदल दें। एक दैनिक स्टैंडअप सारांशकर्ता जो आपके git लॉग से खींचता है, एक अच्छा प्रारंभिक बिंदु है:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

इस तरह का छोटा स्वचालन जमा होता है। पांच मिनट प्रति दिन दस लोगों की एक टीम में बचाया हुआ एक महीने में असली घंटों में जमा होता है, और यह उस घर्षण को हटाता है जो लोगों को पहली जगह में AI उपकरण का उपयोग करने से रोकता है।

विफलता मोड देखें

आपकी डेस्क पर AI अभी भी विशिष्ट, पूर्वानुमानित तरीकों से गलत चीजें करता है: यह फ़ंक्शन नाम बनाता है जो आपके कोडबेस में मौजूद नहीं हैं, इंडेंटेशन-संवेदनशील कोड को गलत पढ़ता है, और आत्मविश्वास से पुरानी लाइब्रेरी सिंटैक्स देता है। इसे विश्वास करने से पहले हमेशा जेनरेट किया गया कोड चलाएं, और किसी भी तथ्यात्मक दावे (एक CVE संख्या, एक लाइब्रेरी का डिफ़ॉल्ट व्यवहार, एक अवमूल्यन तिथि) को आमने-सामने लेने के बजाय स्वतंत्र रूप से सत्यापित करने के लिए कुछ मानें।

लक्ष्य एक मॉडल के आउटपुट के साथ आपके निर्णय को प्रतिस्थापित करना नहीं है। यह एक सवाल रखने और एक उत्तर के उपयोगी पहले मसौदे को पाने के बीच के समय को काटना है, इसलिए आप अपने दिन का अधिक समय काम के उन हिस्सों पर खर्च करते हैं जिन्हें वास्तव में मानव की आवश्यकता है।

यदि आप स्थानीय मॉडल, प्रॉम्प्ट डिज़ाइन, या उनके चारों ओर अपने स्वयं के उपकरण को स्क्रिप्ट करने के साथ आगे जाना चाहते हैं, तो Korra Studio पर AI और Scripting सेगमेंट को देखें।