Hype'siz AI: Çalışan Bir Mühendis İçin Rehber

Çevrimiçi AI içeriğinin çoğu iki kampa ayrılır: superintelligence hakkında doomsday senaryoları ya da bir sohbet robotunun işini Salı gününe kadar değiştireceğine dair nefessiz iddialar. İkisi de hiçbir şey göndermene yardımcı olmaz. Bu rehber her ikisini atlar ve gerçek projelerde mevcut nesil AI araçlarını nasıl kullanacağınızı anlatır; sınırlamalar açıkça belirtilmiş şekilde.

Bir LLM gerçekte ne yapar

GPT-4 veya Llama 3 gibi büyük bir dil modeli, bir dizideki sonraki tokeni tahmin eder; muazzam miktardaki metin üzerinde eğitilir. Bu kadar. İç bir fact-checker yoktur, oturumlar arasında kalıcı bellek yoktur (kendin oluştursan bile), ve bir insanın anlayışı gibi bir anlayış da yoktur. Ona bir soru sorduğunda, isteğinin istatistiksel olarak plausible bir devamını üretiyor.

Bu pratik olarak önemlidir: model, var olmayan bir kütüphane yöntemini çağıran bir Python işlevi güvenle üretecektir, çünkü bu yöntem kütüphanenin sahip olması muhtemel bir şey gibi geliyor. Kodu daima çalıştır. API referansını daima kontrol et. Model çıktısını, hızlı, iyi okuymuş ve bazen bilmeden yalan söyleyen bir stajyer'ın ilk taslağı olarak düşün.

Gerçek bir iş akışı: kod için LLM kullanmak

Sadece ChatGPT'ye "bana bir uygulama yap" demek yerine işe yarayan bir örüntü:

1. İşlev imzası ve docstring'i kendin yaz; türleri ve edge case'leri belirt.
2. Modelden bu tam spesifikasyona karşı uygulamasını iste.
3. Testleri ayrı olarak kendin yaz — modelden az önce yazdığı kod için testler yazmasını isteme; trivially geçen testler yazma eğiliminde olacaktır.
4. Testleri çalıştır. Başarısızlıkları yeni promptlar olarak geri besle; "çalışmıyor" gibi muğlak açıklamalar değil.

def parse_duration(text: str) -> int:
    """
    Parse strings like '1h30m', '45s', '2d' into total seconds.
    Raise ValueError on invalid input.
    """

Modele bu tam kontratı vermek, gevşek bir açıklamadan çok daha iyi çıktı üretir ve karşı test etmek için somut bir şey verir.

Retrieval-augmented generation, düz terimlerle

RAG buzzword olarak atılır ama mekanizm basittir: eğitim sırasında modelin ezberlediğine bel bağlamak yerine, sorgu zamanında ilgili dokümanları getir ve onları promptun içine koy.

Temel bir kurulum:

1. Dokümanlarını parçala (500-1000 token her biri yaygın bir başlangıç noktasıdır).
2. text-embedding-3-small gibi bir modelle veya bge-small-en gibi açık bir modelle her parçayı embed et.
3. Vektörleri Postgres with pgvector gibi bir şeyde veya Qdrant gibi ayrılmış bir depolama alanında tut.
4. Sorgu zamanında, kullanıcının sorusunu embed et, bir benzerlik araması yap (cosine distance standarttır), ve en iyi-k parçaları promptun yanında soruyla birlikte çek.

SELECT content FROM docs
ORDER BY embedding <=> '[0.012, -0.045, ...]'
LIMIT 5;

Bu yüzden bir cutoff tarihine kadar eğitilmiş bir sohbet robotu hala geçen haftanın dahili wikiniz hakkında sorulara cevap verebilir. Şirketiniz hakkında mantık yürütmüyor — dokümanlarını okuyor ve onları özetliyor.

Klasik ML'nin hala kazandığı yerler

Her problem bir transformer'a ihtiyaç duymaz. Yapılandırılmış tabular verilerden churn'ü tahmin ediyorsan — hesap yaşı, kullanım sıklığı, destek biletleri — XGBoost veya LightGBM gibi bir gradient-boosted tree modeli, LLM-tabanlı bir yaklaşımı çoğunlukla yenecek, saatlerin yerine dakikalar içinde eğitilecek, ve çalıştırmak için bir bok tutacak. Bir API çağrısını çekmeyi denemeden önce scikit-learn'ün RandomForestClassifier'ını veya XGBoost'u çek; özellikle verin bir spreadsheet'e sığıyorken ve hedef değişkenin temiz bir sayı veya kategori olduğunda.

Maliyet ve latency, tasarım kısıtlamalarıdır, son dakika düşüncesi değildir

Bir GPT-4-class çağrısı token başına gerçek para maliyeti görerir ve dönüş için gerçek saniyeler alır. Sayfa yüklemesinin her birinde, her kullanıcı için çalışan bir özellik oluşturuyorsan, bu hızla toplar ve latency görülür. Agresif olarak cache'le, GPT-4o-mini gibi daha küçük bir model veya en iyi tier'ın akıllandırmasına ihtiyaç duymayan herhangi bir şey için yerel bir Llama 3 8B kullan, ve pahalı model çağrılarını pipeline'ın kalite gerçekten önemli olan parçaları için ayır.

Kimsenin seni uyarmadığı başarısızlık modu

Modeller, eğitim dağılımınızın hafif dışında şeyler istediğinde — belirsiz kütüphane sürümleri, dahili şirket jargonu, yakın tarihli CVE numaraları — daha az değil, daha fazla halüsine ediyorlar. Cevabın tam doğru olması gerekiyorsa (güvenlik tavsiyesi, yasal alıntı, tıbbi doz), nesillemesine tek başına güvenme. Birincil kaynağa karşı her seferinde doğrula ve bu doğrulama adımını pipeline'ına koy; sonradan insan gözden geçirmeye güvenme.

AI aracı, ondan düşünmesini beklemeyi bıraktığında ve hızlı bir pattern-matcher olarak ele almaya başladığında gerçekten yararlı olur; kontrol etmen gerekir. Doğrulama adımını birinci günden itibaren inşa et ve bunun yerine güvenli nonsense'ın bir akışı yerine gerçek değer elde et.

Daha ileri gitmek istersen, bu araçlarla çalışmayı gerçekten üretken kılan temelleri öğrenmek için Korra Studio'nun Python ve Data Science izlerini kontrol et.