AI ที่โต๊ะของคุณ: การตั้งค่าปฏิบัติการสำหรับงานประจำวัน

คนส่วนใหญ่ที่ใช้ AI ในการทำงานติดอยู่กับการคัดลอกและวางลงในหน้าต่างแชทในแท็บเบราว์เซอร์ เปลี่ยนโฟกัสทุกครั้งที่ต้องการความช่วยเหลือ วิธีนี้ใช้ได้กับคำถามที่เป็นครั้งคราว แต่ล้มเหลวเมื่อใช้ AI หลายครั้งต่อชั่วโมงสำหรับการเขียนโค้ด การเขียนข้อความ และการวิจัย คู่มือนี้ครอบคลุมการตั้งค่าที่เก็บ AI ไว้ใกล้กับที่คุณทำงานอยู่แล้ว โดยคำนึงถึงต้นทุน ความเป็นส่วนตัว และความเร็ว

เลือกโมเดลที่ถูกต้องสำหรับงานที่ถูกต้อง

ไม่ใช่ทุกงานที่ต้องการการให้เหตุผลระดับ GPT-4 หากคุณสรุปบันทึกการประชุมหรือเขียนอีเมลใหม่ โมเดลที่เล็กกว่าและเร็วกว่าสามารถทำงานได้ในเศษส่วนของเวลาและต้นทุน เรียกใช้บางอย่างเช่น Llama 3.1 8B หรือ Mistral 7B ในเครื่องผ่าน Ollama สำหรับงานที่รวดเร็วและความเสี่ยงต่ำ:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

สงวนโมเดลที่ใหญ่กว่าที่โฮสต์ (GPT-4o, Claude 3.5 Sonnet) สำหรับงานที่ต้องการการให้เหตุผลอย่างแท้จริง: การดีบั๊กการติดตามสแต็คที่ยุ่งยาก การร่างข้อเสนอทางเทคนิค หรือการทบทวนการตัดสินใจเกี่ยวกับสถาปัตยกรรม การแบ่งงานด้วยวิธีนี้ลดบิล API ของคุณได้อย่างมีนัยสำคัญหากคุณจ่ายต่อโทเค็น และโมเดลในเครื่องตอบสนองในหน่วยมิลลิวินาทีเทียบกับวินาทีสำหรับการเรียก API แบบไป-กลับ

เชื่อมต่อ AI เข้ากับเอดิเตอร์ของคุณ ไม่ใช่เบราว์เซอร์

หากคุณเขียนโค้ด การเคลื่อนไหวที่มีผลกระทบมากที่สุดคือการวาง AI โดยตรงในไอดีอี VS Code พร้อมส่วนขยาย Continue ให้คุณชี้ไปที่โมเดล Ollama ในเครื่องหรือคีย์ API ของคลาวด์ และคุณสามารถเลือกโค้ดและถามคำถามแบบอินไลน์แทนการพิมพ์บริบทใหม่ลงในหน้าต่างแชท

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

สำหรับงานในเทอร์มินัล เครื่องมือเช่น aichat หรือฟังก์ชันเชลล์อย่างง่ายที่ห่อ OpenAI CLI ช่วยให้คุณไม่ต้องเปิดเบราว์เซอร์เลย:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

เรียกใช้ด้วย ask "explain this regex: ^(?=.*[A-Z]).{8,}$" และได้คำตอบโดยไม่ต้องออกจากเชลล์

เก็บข้อมูลที่ละเอียดไว้ห่างจากเซิร์ฟเวอร์ของบุคคลที่สาม

ก่อนที่คุณจะวางข้อมูลลงในโมเดลคลาวด์ ให้ถามว่ามันมีข้อมูลลูกค้า ข้อมูลประจำตัว หรือโค้ดเป็นกรรมสิทธิ์ที่บริษัทของคุณไม่ต้องการให้ออกจากเครือข่ายหรือไม่ ทีมงานจำนวนมากกำหนดกฎอย่างง่าย: อะไรก็ตามที่เกี่ยวข้องกับโค้ดเบสภายในหรือ PII ผ่านโมเดลในเครื่องหรือ API ระดับองค์กรพร้อมข้อตกลงการคงไว้เป็นศูนย์ และอื่น ๆ ทั้งหมดสามารถไปยังเครื่องมือระดับผู้บริโภค

Ollama ทำงานบนเครื่องที่มี GPU ที่สมควร (RTX 4070 ตัวเดียวหรือดีกว่าจัดการกับโมเดล 7B-13B ได้อย่างสบาย) ครอบคลุมการร่างและการทบทวนโค้ดส่วนใหญ่ในแต่ละวันโดยไม่มีไบต์เดียวออกจากแล็ปท็อปของคุณ สำหรับงานในเครื่องที่หนักกว่า โมเดลที่สำมาส (Q4_K_M หรือ Q5_K_M) แลกเปลี่ยนความแม่นยำเพียงเล็กน้อยเพื่อความเร็วและการใช้หน่วยความจำที่ต่ำกว่า

สร้างสคริปต์ขนาดเล็กแทนการทำซ้ำข้อความแจ้ง

หากคุณพบว่าตัวเองพิมพ์โครงสร้างข้อความแจ้งเดียวกันซ้ำแล้วซ้ำเล่า ให้เปลี่ยนเป็นสคริปต์ สรุปการแสดงความเห็นรายวันที่ดึงมาจากบันทึก git ของคุณเป็นจุดเริ่มต้นที่ดี:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

การทำให้เป็นอัตโนมัติขนาดเล็กเช่นนี้จะเกิดขึ้นซ้ำแล้วซ้ำเล่า ห้านาทีที่บันทึกต่อวันในทีมสิบคนจะรวมกันเป็นชั่วโมงจริง ๆ ในหนึ่งเดือน และมันลบแรงเสียดทานที่ทำให้ผู้คนหลีกเลี่ยงการใช้เครื่องมือ AI ในตอนแรก

ดูแลรูปแบบความล้มเหลว

AI ที่โต๊ะของคุณยังคงได้รับสิ่งต่าง ๆ ที่ผิดในรูปแบบที่เฉพาะเจาะจงและคาดเดาได้: มันคิดค้นชื่อฟังก์ชันที่ไม่มีอยู่ในโค้ดเบสของคุณ พลาดการเยื้องโค้ดที่อ่อนไหวต่อการเยื้อง และให้ไวยากรณ์ไลบรารีที่ล้าสมัยอย่างแน่นอน เสมอให้รันโค้ดที่สร้างขึ้นก่อนที่จะเชื่อใจ และถือว่าข้อเรียกร้องข้อเท็จจริงใด ๆ (หมายเลข CVE หน่วยความจำเริ่มต้นของไลบรารี วันที่หยุดใช้งาน) เป็นสิ่งที่ต้องตรวจสอบโดยอิสระแทนที่จะนำมาที่ค่า

เป้าหมายไม่ใช่การแทนที่การตัดสินใจของคุณด้วยผลลัพธ์ของโมเดล มันเป็นการลดเวลาระหว่างการมีคำถามและการได้รับร่างแรกที่มีประโยชน์ของคำตอบ เพื่อให้คุณใช้เวลามากขึ้นในส่วนของงานที่ต้องการมนุษย์จริง ๆ

หากคุณต้องการไปต่อด้วยโมเดลในเครื่อง การออกแบบข้อความแจ้ง หรือการเขียนสคริปต์เครื่องมือของคุณเองรอบ ๆ พวกเขา ตรวจสอบส่วน AI และ Scripting ที่ Korra Studio