AI у вас на столе: практическая настройка для ежедневной работы

Большинство людей, использующих AI на работе, застревают в копировании-вставке в окно чата в браузере, переключая контекст каждый раз, когда им нужна помощь. Это работает для случайных вопросов, но разваливается, как только вы начинаете использовать AI несколько раз в час для кодирования, написания и исследований. Это руководство рассматривает настройку, которая держит AI близко к месту, где вы уже работаете, с учётом затрат, приватности и скорости.

Выберите правильную модель для правильной задачи

Не каждая задача требует рассуждений уровня GPT-4. Если вы резюмируете стенограмму встречи или переписываете письмо, меньшая, более быстрая модель выполняет задачу за часть времени и стоимости. Запустите что-то вроде Llama 3.1 8B или Mistral 7B локально через Ollama для быстрых, низкорисковых задач:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

Зарезервируйте более крупные размещённые модели (GPT-4o, Claude 3.5 Sonnet) для задач, требующих настоящего рассуждения: отладка запутанной трассировки стека, черновик технического предложения или рецензирование решений архитектуры. Разделение работы таким образом заметно снижает ваш счёт API, если вы платите за токен, а локальные модели отвечают в миллисекундах по сравнению с секундами для вызовов API в оба конца.

Подключите AI в редактор, а не браузер

Если вы пишете код, высокорычажный ход — поместить AI прямо в ваш IDE. VS Code с расширением Continue позволяет вам указать либо локальную модель Ollama, либо ключ облачного API, и вы можете выбрать код и задать вопросы встроенно вместо переввода контекста в окно чата.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

Для работы в терминале инструменты вроде aichat или простая функция shell, обёртывающая OpenAI CLI, избавляют вас от открытия браузера вообще:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

Вызовите её с помощью ask "explain this regex: ^(?=.*[A-Z]).{8,}$" и получите ответ без выхода из shell.

Держите конфиденциальные данные подальше от серверов третьих сторон

Прежде чем вставить что-либо в облачную модель, спросите себя, содержит ли это данные клиентов, учётные данные или проприетарный код, который ваша компания не хочет отправлять за границы своей сети. Многие команды устанавливают простое правило: всё, что касается внутренних кодовых баз или персональных данных, проходит через локальную модель или API уровня предприятия с соглашением о нулевом сохранении, и всё остальное может идти к потребительскому инструменту.

Ollama, работающая на машине с приличным GPU (один RTX 4070 или лучше комфортно обрабатывает модели 7B-13B), охватывает большинство ежедневного черновика и проверки кода без единого байта, покидающего ваш ноутбук. Для более тяжёлой локальной работы квантованные модели (Q4_K_M или Q5_K_M) обменивают небольшое количество точности на скорость и меньшее использование памяти.

Напишите малые скрипты вместо повторения запросов

Если вы обнаружите, что печатаете одну и ту же структуру запроса снова и снова, превратите её в скрипт. Ежедневный резюме, который извлекает из вашего git log, — хорошая отправная точка:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

Этот вид малой автоматизации накапливается. Пять минут, сэкономленных в день в команде из десяти человек, складываются в реальные часы за месяц, и это снимает трение, которое заставляет людей избегать использования инструментов AI в первую очередь.

Следите за режимами отказа

AI у вас на столе всё ещё ошибается специфичными, предсказуемыми способами: она выдумывает имена функций, которые не существуют в вашей кодовой базе, неправильно читает код, чувствительный к отступам, и уверенно даёт устаревший синтаксис библиотеки. Всегда запускайте сгенерированный код перед доверием к нему, и относитесь к любому фактическому утверждению (номер CVE, поведение библиотеки по умолчанию, дата упразднения) как к чему-то, что нужно проверить независимо, а не принять за чистую монету.

Цель не в замене вашего суждения выводом модели. Это сокращение времени между возникновением вопроса и получением полезного первого черновика ответа, чтобы вы проводили больше времени на частях работы, которые действительно требуют человека.

Если вы хотите пойти дальше с локальными моделями, проектированием запросов или написанием собственных инструментов вокруг них, посетите сегменты AI и Scripting на Korra Studio.