Masanızda Yapay Zeka: Günlük Çalışma için Pratik Bir Kurulum

İşte yapay zeka kullanan çoğu insan tarayıcı sekmesindeki bir sohbet penceresine kopyala-yapıştır yaparak sıkışmış durumda; yardıma ihtiyaç duydukları her zaman bağlam değiştiriyorlar. Bu, ara soruları cevaplamak için işe yarar ama kodlama, yazı yazma ve araştırma arasında saatte birden çok kez yapay zeka kullandığınız anda çöp oluyor. Bu rehber, maliyet, gizlilik ve hız göz önünde tutarak yapay zekayı zaten çalıştığınız yere yakın tutan bir kurulum kapsıyor.

Doğru iş için doğru modeli seçin

Her görev GPT-4 seviyesinde akıl yürütmeye ihtiyaç duymaz. Bir toplantı transkriptini özetlemek veya bir e-postayı yeniden yazmak istiyorsanız, daha küçük, daha hızlı bir model işi çok daha kısa süre ve maliyetle tamamlar. Llama 3.1 8B veya Mistral 7B gibi bir şeyi hızlı, düşük riskli görevler için Ollama aracılığıyla yerel olarak çalıştırın:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

Gerçek akıl yürütmeye ihtiyaç duyulan görevler için daha büyük barındırılan modelleri (GPT-4o, Claude 3.5 Sonnet) ayırın: zor bir stack trace hatasını ayıklamak, teknik bir teklif hazırlamak ya da mimari kararları incelemek. İşi bu şekilde bölerseniz token başına ödeme yapıyorsanız API faturanızı belirgin şekilde azaltabilirsiniz; yerel modeller API çağrılarının iki yönlü süresi yerine milisaniyeler içinde yanıt verirler.

Yapay zekayı tarayıcınıza değil düzenleyicinize bağlayın

Kod yazıyorsanız, en yüksek etkili hamle yapay zekayı doğrudan IDE'nize koymaktır. VS Code'un Continue uzantısı ile bir yerel Ollama modeline ya da bir bulut API anahtarına işaret edebilir ve kodu seçip sohbet penceresine bağlamı yeniden yazmak yerine satır içinde sorular sorabilirsiniz.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

Terminal çalışması için aichat gibi araçlar ya da OpenAI CLI'yi sarmalayan basit bir shell işlevi tarayıcı açmanızdan tasarruf eder:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

ask "explain this regex: ^(?=.*[A-Z]).{8,}$" ile çağırın ve shell'i açmadan bir cevap alın.

Hassas verileri üçüncü taraf sunuculardan uzak tutun

Bir bulut modeline herhangi birşey yapıştırmadan önce, bunun müşteri verisi, kimlik bilgisi veya şirketinizin ağdan çıkmasını istemediği özel kod içerip içermediğini sorun. Birçok ekip basit bir kural belirler: iç kod tabanlarına ya da kişisel kimlik bilgilerine dokunuş yapan herşey yerel bir model ya da sıfır saklama anlaşması olan kurumsal seviye API aracılığıyla geçer ve diğer herşey tüketici seviyesi bir araca gidebilir.

Değent bir GPU'ya sahip bir makinede (tek bir RTX 4070 veya daha iyi 7B-13B modellerini rahatlıkla taşır) çalışan Ollama, laptop'unuzdan tek bir baytın çıkmadan çoğu günlük taslak ve kod incelemesini kapsar. Daha ağır yerel iş için, nicelleştirilmiş modeller (Q4_K_M veya Q5_K_M) az bir doğruluk kaybı karşılığında hız ve daha düşük bellek kullanımı sağlar.

Cümleleri tekrarlamak yerine küçük komut dosyaları oluşturun

Bulduğunuz aynı komut istemi yapısını tekrar tekrar yazmaktan, onu bir komut dosyasına dönüştürün. Git günlüğünüzden çeken günlük bir standup özeti iyi bir başlangıç noktasıdır:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

Bu tür küçük otomasyon birikirler. Bir ay içinde on kişilik bir ekipte günde beş dakika tasarruf etmek gerçek saatlere dönüşür ve insanların yapay zeka araçlarını kullanmaktan kaçınmasını sağlayan sürtünmeyi ortadan kaldırır.

Başarısızlık modlarına dikkat edin

Masanızdaki yapay zeka hala belirli, öngörülebilir şekillerde yanlış olur: kod tabanınızda olmayan işlev adlarını uydurur, girintiye duyarlı kodları yanlış okur ve eski kütüphane söz dizimini güvenle verir. Oluşturulan kodu güvenmeden önce her zaman çalıştırın ve herhangi bir gerçek iddia (bir CVE numarası, bir kütüphanenin varsayılan davranışı, bir kullanımdan kaldırma tarihi) yüz değer olarak almaktan ziyade bağımsız olarak doğrulanacak şey olarak değerlendirin.

Hedef, modelinizin çıktısıyla yargınızı değiştirmek değildir. Bir soruyu sorma ile yararlı bir cevabın ilk taslağını alma arasındaki süreyi kesmek; böylece gün içinde işin aslında bir insanın yapması gereken kısımlarına daha çok zaman harcarsınız.

Yerel modeller, komut istemi tasarımı veya çevresinde kendi araçlarınızı komut dosyası yazmak konusunda daha ileri gitmek istiyorsanız, Korra Studio'daki AI ve Scripting bölümlerine göz atın.