ШІ у вас на робочому столі: практична настройка для щоденної роботи

Більшість людей, які користуються ШІ на роботі, застрягли на копіюванні-вставленні текстів у вікно чату браузера, переключаючи контекст щоразу, коли їм потрібна допомога. Це працює для випадкових питань, але розпадається, як тільки ви користуєтеся ШІ кілька разів на годину для кодування, написання та дослідження. Цей посібник охоплює настройку, яка тримає ШІ близько до того місця, де ви вже працюєте, з урахуванням вартості, приватності та швидкості.

Виберіть правильну модель для правильного завдання

Не кожне завдання потребує міркування на рівні GPT-4. Якщо ви підбиваєте підсумки стенограми наради або переписуєте електронного листа, менша, більш швидка модель виконує роботу за малу частину часу й вартості. Запустіть щось на кшталт Llama 3.1 8B або Mistral 7B локально через Ollama для швидких, низькоризикованих завдань:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

Зарезервуйте більші розміщені моделі (GPT-4o, Claude 3.5 Sonnet) для завдань, які потребують справжнього мислення: налагодження складної трасування стеку, написання технічної пропозиції або розгляду рішень архітектури. Розділення роботи таким чином помітно скорочує рахунок API, якщо ви платите за токен, а локальні моделі реагують за мілісекунди, а не за секунди для кругових викликів API.

Підключіть ШІ до вашого редактора, а не до браузера

Якщо ви пишете код, найбільш ефективний крок — вставити ШІ прямо в вашу IDE. VS Code з розширенням Continue дозволяє вам вказати на локальну модель Ollama або ключ хмарного API, і ви можете вибрати код та задати питання вбудовано замість переписування контексту в вікно чату.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

Для роботи в терміналі інструменти на кшталт aichat або проста функція shell, яка обгортає CLI OpenAI, уберігають вас від необхідності відкривати браузер взагалі:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

Викличте її з ask "explain this regex: ^(?=.*[A-Z]).{8,}$" і отримайте відповідь без виходу з shell.

Тримайте чутливі дані подалі від сторонніх серверів

Перед тим, як вставити що-небудь у хмарну модель, запитайте себе, чи містить вона дані клієнтів, облікові дані або власний код, який ваша компанія не хоче виносити за межі своєї мережі. Багато команд встановлюють просте правило: все, що стосується внутрішніх кодових баз або ПІД, проходить через локальну модель або корпоративний API з угодою про нульове збереження, а все інше може йти до інструменту рівня споживача.

Ollama, запущена на машині з пристойною GPU (одного RTX 4070 або краще достатньо для комфортного використання моделей 7B-13B), охоплює більшість щоденних чернеток та оглядів коду без жодного байта, що залишає ваш ноутбук. Для більш важкої локальної роботи квантовані моделі (Q4_K_M або Q5_K_M) жертвують невеликою кількістю точності для швидкості та менших витрат пам'яті.

Напишіть невеликі скрипти замість повторення підказок

Якщо ви знаходите себе, що повторюєте одну й ту ж структуру підказки знову й знову, перетворіть її на скрипт. Щоденний резюме, яке витягує з вашого git log, — гарна точка для початку:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

Цей вид малої автоматизації складається. П'ять хвилин збережено на день на команді з десяти людей складає справжні години протягом місяця, і це усуває тертя, яке змушує людей уникати використання інструментів ШІ.

Стежте за режимами відмови

ШІ у вас на столі все ще помиляється певними, передбачуваними способами: він вигадує імена функцій, які не існують у вашій кодовій базі, невірно читає код, чутливий до відступу, і впевнено дає застарілий синтаксис бібліотеки. Завжди запускайте генерований код перед тим, як йому довіряти, і розглядайте будь-яке фактичне твердження (номер CVE, поведінку за замовчуванням бібліотеки, дату припинення) як щось, що потрібно перевірити самостійно, а не сприймати за чисту монету.

Мета не в заміні вашого судження на вихід моделі. Це скорочення часу між питанням і отриманням корисного першого чернетки відповіді, щоб ви витрачали більше часу на частини роботи, які дійсно потребують людини.

Якщо ви хочете піти далі з локальними моделями, дизайном підказок або написанням своїх інструментів навколо них, перевірте сегменти ШІ та Scripting в Korra Studio.