[폐쇄망 AI 구축기 1탄] Ollama와 Gemma로 나만의 AI 비서 만들기 (feat. 라이선스 걱정 끝!)

[폐쇄망 AI 구축기 1탄] Ollama와 Gemma로 나만의 AI 비서 만들기 (feat. 라이선스 걱정 끝!)

안녕하세요! 여러분의 든든한 AI 파트너, 수다쟁이 PM입니다. 😊

오늘은 아주 특별하고도 중요한 시리즈, '폐쇄망 AI 구축기'의 첫 번째 포문을 열어보려고 합니다. 보안이 생명인 환경에서도 똑똑한 AI 비서를 활용하는 실전 노하우를 차근차근 풀어낼 예정인데요.

시작에 앞서, 한 가지 중요한 점을 짚고 넘어가겠습니다. 로컬 AI 구동 도구로 많이 알려진 LM Studio도 있지만, 일부 사용 환경에서는 라이선스 문제가 발생할 수 있습니다. 🧐 그래서 우리 블로그에서는 라이선스로부터 비교적 자유로운 오픈소스 도구인 'Ollama'를 기반으로 모든 것을 설명하려고 합니다. 실무에서 마음 편히 쓰는 게 최고니까요!

자, 그럼 이제 라이선스 걱정은 덜어두고, 'Ollama'와 함께 우리만의 안전한 AI 환경을 만들어볼까요?

---

🚀 우리 팀의 새로운 에이스, 'Gemma 3'를 소개합니다!

오늘 우리가 설치할 AI 모델은 바로 구글에서 개발한 'Gemma 3'입니다. 왜 많고 많은 모델 중에 Gemma 3를 선택했냐고요?

한마디로 "최신 슈퍼카의 엔진 기술을 쏙 빼닮은 경차"랄까요? 🚗💨 작은 크기에도 불구하고 아주 똑똑하고 빠릿빠릿하게 움직이는, '가성비'와 '가심비'를 모두 잡은 모델입니다. 구글의 최첨단 기술(Gemini)을 기반으로 만들어져 신뢰할 수 있고, 특히 우리처럼 로컬 PC 환경에 설치해서 쓰기에 최적화되어 있죠.

그럼 이 똑똑한 친구를 데려오면 우리 프로젝트에서 뭘 할 수 있을까요? 활용 분야는 무궁무진합니다!

• ✍️ 문서 작업의 달인: 회의록 요약, 이메일 초안 작성, 보고서 개요 잡기 등 귀찮은 문서 작업을 순식간에 해치웁니다.
• 🧑‍💻 똑똑한 코딩 조수: 간단한 코드 작성이나 오류 분석, SQL 쿼리 생성 등 개발자들의 든든한 지원군이 되어줍니다.
• 💡 아이디어 뱅크: 새로운 프로젝트 아이디어를 내거나, 막막한 기획서의 목차를 구성하는 등 브레인스토밍이 필요할 때 아주 유용하죠.
• 🌐 만능 번역가: 꽤나 자연스러운 번역 실력으로, 외국 기술 문서나 자료를 읽을 때 큰 도움이 됩니다.

이처럼 Gemma 3는 폐쇄망이라는 제한된 환경 속에서 우리 팀의 생산성을 극대화해 줄 최고의 파트너가 될 수 있습니다.

<사전 체크사항> 내 PC에서도 AI가 돌아갈까요? 🤔

본격적인 설치에 앞서, 가장 중요한 준비물인 PC 환경과 라이선스를 점검해 보겠습니다.

✅ 잠깐! 라이선스도 확인하고 가실게요!

• Ollama (구동 도구): MIT 라이선스를 따르는 아주 자유로운 오픈소스 프로젝트입니다. 상업적 이용을 포함해 거의 모든 활동이 허용되니 마음 편히 사용하셔도 좋습니다.
• Gemma 3 (AI 모델): 구글에서 제공하는 'Gemma 이용약관'을 따릅니다. 다행히 상업적 사용 및 배포가 허용되지만, 우리 같은 PM이라면 공식 약관을 한번 훑어보고 가는 것이 기본자세겠죠? 😉

✅ 다음은 하드웨어 환경입니다!

AI 모델은 시스템 메모리(DRAM)보다는 그래픽 카드에 탑재된 VRAM(비디오 메모리)을 주로 사용하거든요. VRAM은 AI 모델이 일하는 '책상'이라고 생각하시면 돼요. 책상이 넓을수록 더 크고 복잡한 작업을 빠르고 쾌적하게 처리할 수 있죠.

• 최소 사양: VRAM 8GB 이상
  • 대표 그래픽 카드: NVIDIA GeForce RTX 3060, RTX 4060 등
  • Gemma 1B 모델이나 가벼운 모델들을 무리 없이 돌릴 수 있는 시작점입니다.
• 권장 사양: VRAM 16GB 이상
  • 대표 그래픽 카드: NVIDIA GeForce RTX 3090, RTX 4080 / AMD Radeon RX 7800 XT 등
  • Gemma 4B 모델을 비롯해 더 크고 성능 좋은 모델들을 쾌적하게 사용하려면 이 정도는 되어야 합니다. PM의 보고서가 술술 써지는 마법을 경험할 수 있죠! 😉

우리가 사용할 Gemma 모델은 이름 뒤에 붙은 숫자에 따라 '체급'이 나뉘는데요.

• gemma3:1b: "똑똑한 신입사원" 랄까요? 🧑‍💻 VRAM 8GB 환경에서 쌩쌩 돌아가고, 기본적인 문서 요약이나 아이디어 제시에 능숙합니다.
• gemma3:4b: "경험 많은 대리님" 같습니다. 🧐 VRAM 16GB 이상의 환경에서 더 깊이 있는 분석과 복잡한 요청도 척척 해내죠.

이 글에서는 가장 무난한 환경에서 쾌적한 성능을 내는 gemma3:4b를 기준으로 설명하겠습니다! 만약 PC 사양이 조금 부족하다면 gemma3:1b로 시작하셔도 충분합니다.

1. 오픈망에서 'Ollama' 설치 및 모델 다운로드

첫 단계는 인터넷이 연결된 PC(오픈망)에서 모든 재료를 준비하는 것입니다.

가. Ollama 설치 파일 다운로드 먼저 Ollama 공식 웹사이트(https://ollama.com)에 접속해서 'Download' 버튼을 누르고, 사용하시는 운영체제(Windows, macOS, Linux)에 맞는 설치 파일을 다운로드합니다.

 

나. Ollama 설치 다운로드 받은 OllamaSetup.exe 를 실행하여 Ollama 를 설치 합니다.

다. 모델 파일 다운로드 (Ollama 방식) Ollama 설치 완료되면 ChatGPT 와 비슷한 채팅창이 실행 됩니다. 아무 메시지나 입력 후 채팅창 오른쪽 아래에 보면 LLM 모델을 선택할 수 있는 창이 있습니다. 여기서 'Gemma3:4b'를 선택하고 위쪽 화살표를 누르세요 

Ollama가 알아서 모델 파일을 다운로드합니다. 용량이 꽤 크니 커피 한잔하고 오셔도 좋습니다. ☕

잘 작동하는지 테스트 한번 할겸 "넌 뭘 할 수 있어?" 라고 질문해 보세요~ 😉

 

2. 폐쇄망으로 옮길 파일 준비하기

다운로드가 완료되면, 폐쇄망으로 가져갈 두 가지를 챙겨야 합니다.

1. Ollama 설치 파일: 방금 다운로드했던 OllamaSetup.exe 같은 설치 파일
2. Gemma 3 4B 모델 파일: Ollama가 모델을 저장한 폴더. 보통 아래 경로에 숨어있습니다.
   • Windows: C:\Users\[사용자이름]\.ollama\models
   • macOS/Linux: ~/.ollama/models

이 두 가지를 보안 USB 또는 망연계 시스템을 통해 폐쇄망 PC로 옮길 수 있도록 준비합니다. 보안 규정 준수는 필수! 아시죠? 😉

 

3. 폐쇄망 PC에 Ollama 설치 및 모델 배치

이제 무대를 폐쇄망 PC로 옮겨보겠습니다.

가. Ollama 설치 보안 매체로 옮겨온 OllamaSetup.exe 파일을 실행하여 폐쇄망 PC에 Ollama를 설치합니다. 과정은 간단하니 금방 끝날 겁니다.

나. 모델 파일 옮기기 설치가 끝나면, Ollama 를 종료 한 뒤에(!) 오픈망 PC에서 통째로 복사해 온 .ollama/models 폴더 안의 내용물을 폐쇄망 PC의 동일한 경로에 그대로 붙여넣어 주세요. 만약 폴더가 없다면 직접 만들어주시면 됩니다.

 

4. 폐쇄망에서 나만의 AI 비서 실행하기

모든 준비가 끝났습니다! 폐쇄망 PC에서도 Ollama 를 실행하고 질문을 해 볼까요? LLM 모델에서 우리가 옮겨 놓은 Gemma3:4b 옆에 다운로드 아이콘이 사라져 있다면 정상적으로 잘 설치 된 것입니다.(models 폴더를 옮겼는데도 상태가 바뀌지 않았다면, Ollama 를 종료 후 재실행 해 보세요!)

질문을 던져서 답변이 나왓다면 성공입니다! 🥳 

이제 여러분은 보안이 철저한 폐쇄망 안에서 자유롭게 질문하고 답변을 받을 수 있는 AI 비서를 갖게 되었습니다!

---

💡 수다쟁이 PM의 실전 꿀팁:

프로젝트 현장에 나가면 보안 때문에 AI는커녕 개인 휴대폰 사용도 눈치 보일 때가 많죠. 😅 하지만 오늘 소개해드린 것처럼 라이선스 문제없는 오픈소스를 활용하면, 우리 팀만의 안전한 AI 비서를 걱정 없이 사용할 수 있게 됩니다. 🚀

물론 VRAM 8GB 이상이라는 하드웨어 장벽, 즉 외장 그래픽 카드가 필요하다는 점이 조금 마음에 걸리실 수 있어요. 하지만 이것도 PM의 관점에서 보면 해결 방법이 있습니다.

공용 개발지원 서버로 고성능 GPU AI 서버를 '추가 제안' 항목으로 넣어서, 프로젝트 기간 동안 임대하거나 예산이 넉넉하다면 아예 고객사에 납품하는 방법을 고려해 보세요. 👍

만약 '최소한의 비용'으로 해결해야 한다면, 일반 PC에 고성능 그래픽카드만 추가해서 렌트하는 방법도 있습니다. 생각보다 큰 비용을 들이지 않고도 구축이 가능하죠.

이렇게 구축된 공용 AI 서버(또는 PC)는 단순 질의응답을 넘어, 문서 초안 작성, 코딩 지원, 프로젝트 현황 분석, 심지어 필요한 이미지 생성까지... 프로젝트의 수많은 리스크와 비용을 줄여주는 '전천후 해결사' 역할을 톡톡히 해낼 겁니다! 😎

이후에 이어질 '폐쇄망 AI 구축기' 시리즈를 계속 보면 활용도가 더욱 높아지실 꺼예요~ 😉

 

---

마무리

자, 이렇게 우리는 라이선스 걱정 없는 Ollama를 이용해 폐쇄망 AI 구축의 첫 단추를 성공적으로 끼웠습니다. 터미널 화면이 조금 낯설게 느껴질 수도 있지만, 가장 확실하고 안정적인 방법이죠. 이 경험이 여러분의 업무 환경을 혁신하는 중요한 자산이 될 거라고 확신합니다.

다음 편에서는 오늘 설치한 이 Ollama에 날개를 달아줄 차례입니다. 딱딱한 터미널 화면 대신, 우리가 흔히 쓰는 챗GPT처럼 예쁘고 편리한 웹 UI(Open WebUI)를 붙여서 누구나 쉽게 AI를 사용하도록 만들어 보겠습니다. 기대되시죠? 😉

오늘 내용이 여러분의 AI 여정에 즐거운 이정표가 되었기를 바랍니다!

⚠️ 잠깐! Ollama의 한계점 (RAG 미지원)

여기서 아주 중요한 점 하나! 아쉽게도 Ollama는 현재 RAG(검색 증강 생성) 기능을 기본적으로 지원하지 않습니다.

RAG(Retrieval-Augmented Generation)란, AI가 답변할 때 외부의 최신 정보나 특정 문서(PDF, Word 등)를 '오픈북 시험'처럼 실시간으로 참고해서 답변을 생성하는 기술이에요. 그래서 "이 PDF 문서 요약해줘" 라거나 "이 이미지에 대해 설명해줘" 같은 요청은 현재 Ollama만으로는 처리할 수 없답니다.

만약 이런 기능이 꼭 필요하시다면, 이전에 잠깐 언급했던 LM Studio가 좋은 대안이 될 수 있습니다. But, 이보다 더 좋은 제안을 수다쟁이PM 이 이어 갈테니 2탄을 기대해주세요.

https://projectzoo.tistory.com/48

[폐쇄망 AI 구축기 2탄] 우리회사만의 보안 챗 GPT 구축(feat. Open WebUI with gpt-oss-20b)