당신의 책상에서 AI 활용하기: 일상 업무를 위한 실용적인 설정

업무에서 AI를 사용하는 대부분의 사람들은 브라우저 탭의 채팅 창에 텍스트를 복사-붙여넣기 하는 데 갇혀 있으며, 도움이 필요할 때마다 컨텍스트를 전환합니다. 가끔 질문할 때는 작동하지만, 코딩, 글쓰기, 조사를 하면서 시간당 여러 번 AI를 사용하면 금방 한계에 부딪힙니다. 이 가이드는 이미 일하고 있는 곳 가까이에 AI를 유지하면서 비용, 개인정보 보호, 속도에 중점을 두는 설정을 다룹니다.

작업에 맞는 올바른 모델 선택하기

모든 작업이 GPT-4 수준의 추론을 필요로 하지는 않습니다. 회의 기록을 요약하거나 이메일을 다시 작성할 때는 더 작고 빠른 모델이 시간과 비용의 일부만에 작업을 완료합니다. Llama 3.1 8B나 Mistral 7B 같은 모델을 Ollama를 통해 로컬로 실행하여 빠르고 위험도 낮은 작업에 사용합니다:

ollama pull llama3.1:8b
ollama run llama3.1:8b "Summarize this in 3 bullet points: ..."

더 큰 호스팅 모델(GPT-4o, Claude 3.5 Sonnet)은 진정한 추론이 필요한 작업을 위해 남겨둡니다: 복잡한 스택 트레이스 디버깅, 기술 제안서 작성, 아키텍처 결정 검토 같은 작업 말입니다. 이렇게 작업을 분할하면 토큰당 요금을 내는 경우 API 청구서가 눈에 띄게 줄어들고, 로컬 모델은 API 왕복보다 밀리초 단위로 응답합니다.

AI를 브라우저가 아닌 편집기에 연결하기

코드를 작성한다면 가장 효율적인 방법은 AI를 직접 IDE에 넣는 것입니다. Continue 확장 프로그램이 있는 VS Code를 사용하면 로컬 Ollama 모델이나 클라우드 API 키 중 하나를 지정할 수 있으며, 코드를 선택하고 인라인으로 질문을 던질 수 있어서 채팅 창에 컨텍스트를 다시 입력할 필요가 없습니다.

{
  "models": [
    {
      "title": "Local Llama",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

터미널 작업의 경우, aichat 같은 도구나 OpenAI CLI를 감싸는 간단한 셸 함수를 사용하면 브라우저를 열 필요가 없습니다:

function ask() {
  curl -s https://api.openai.com/v1/chat/completions \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -H "Content-Type: application/json" \
    -d "{\"model\":\"gpt-4o-mini\",\"messages\":[{\"role\":\"user\",\"content\":\"$1\"}]}" \
    | jq -r '.choices[0].message.content'
}

ask "explain this regex: ^(?=.*[A-Z]).{8,}$" 명령으로 호출하면 셸을 떠나지 않고 답을 얻습니다.

민감한 데이터를 타사 서버에서 보호하기

클라우드 모델에 뭔가를 붙여넣기 전에 그것이 고객 데이터, 자격 증명, 회사가 네트워크 밖으로 나가길 원하지 않는 독점 코드를 포함하는지 확인하세요. 많은 팀이 간단한 규칙을 정합니다: 내부 코드베이스나 PII에 접근하는 모든 것은 로컬 모델이나 영구 보존 금지 동의가 있는 엔터프라이즈급 API를 통해, 그 외의 모든 것은 소비자급 도구로 보낼 수 있습니다.

Ollama를 제법 괜찮은 GPU가 있는 머신에서 실행하면(RTX 4070 이상이면 7B~13B 모델을 편하게 처리) 대부분의 일상적 드래프팅과 코드 리뷰가 바이트 하나 노트북 밖으로 나가지 않고 가능합니다. 더 무거운 로컬 작업을 위해서는 양자화 모델(Q4_K_M 또는 Q5_K_M)을 사용하여 약간의 정확도를 속도와 낮은 메모리 사용량으로 바꿀 수 있습니다.

프롬프트를 반복하는 대신 작은 스크립트 만들기

계속해서 같은 프롬프트 구조를 입력하고 있다면 스크립트로 만듭니다. git 로그에서 정보를 가져와 매일의 스탠드업을 요약하는 것이 좋은 시작입니다:

git log --since="yesterday" --author="$(git config user.name)" --oneline | \
  ask "Turn these commits into a 3-sentence standup update"

이런 작은 자동화는 누적됩니다. 하루에 5분씩 절약하면 10명 팀이 한 달에 실질적인 시간을 절약할 수 있고, AI 도구를 사용하는 것을 꺼리게 만드는 마찰을 제거합니다.

실패 모드에 주의하기

당신의 책상에서 AI는 여전히 특정하고 예측 가능한 방식으로 틀립니다: 코드베이스에 존재하지 않는 함수 이름을 만들어내고, 들여쓰기에 민감한 코드를 오독하며, 자신감 있게 시대에 뒤떨어진 라이브러리 문법을 줍니다. 생성된 코드를 실행하기 전에 항상 확인하세요. 그리고 어떤 사실성 있는 주장(CVE 번호, 라이브러리의 기본 동작, 사용 중단 날짜)도 당연한 것으로 받아들이지 말고 독립적으로 검증해야 할 것으로 취급하세요.

목표는 모델의 결과물로 판단을 대체하는 것이 아닙니다. 질문과 유용한 첫 번째 답안 초안을 얻는 사이의 시간을 줄이는 것이므로, 실제로 인간이 필요한 업무 부분에 더 많은 시간을 쓸 수 있습니다.

로컬 모델, 프롬프트 설계, 또는 도구를 직접 스크립팅하는 방법에 대해 더 자세히 알고 싶다면, Korra Studio의 AI 및 Scripting 섹션을 확인하세요.