[폐쇄망 AI 구축기 2탄] 우리회사만의 보안 챗 GPT 구축(feat. Open WebUI with gpt-oss-20b)

[폐쇄망 AI 구축기 2탄] 우리회사만의 보안 챗 GPT 구축(feat. Open WebUI with gpt-oss-20b)

안녕하세요! 여러분의 든든한 AI 파트너, 수다쟁이 PM입니다. 😊

지난 1탄에서는 Ollama와 Gemma를 이용해 각자의 PC에 '나만의 AI 비서'를 성공적으로 설치했었죠. 하지만 프로젝트는 '팀플레이' 아니겠습니까? "PM님, 저도 그 AI 좀 쓰게 해주세요!" 하는 팀원들의 목소리가 들리는 듯합니다. 😅

그래서 오늘은 1탄의 한계를 뛰어넘어, 우리 팀 모두가 함께 사용할 수 있는 '팀 전용 AI 서버'를 구축해 보겠습니다. 바로 'Open WebUI' 라는 강력한 도구를 통해서 말이죠! 이 도구를 사용하면

1) 여러 사람이 함께 쓰는 협업 환경

2) 문서를 참고해서 답변하는 RAG 기능

이라는 두 마리 토끼를 모두 잡을 수 있습니다.

 

자, 그럼 지금부터 본격적인 설치 작업에 들어가 볼까요? (이번 편은 설치까지, 자세한 사용법은 다음 편에서 이어집니다!)

혹시 지난번에 Ollama 를 설치 하지 않으셨다면 먼저 설치하고 오셔야 오늘의 실습을 따라갈 수 있습니다.

(사실 지난 1탄은 오늘을 위한 큰그림 이었답니다~ 😊)

https://projectzoo.tistory.com/47

[폐쇄망 AI 구축기 1탄] Ollama와 Gemma로 나만의 AI 비서 만들기 (feat. 라이선스 걱정 끝!)

 

---

✨ 오늘의 특급 재료를 소개합니다! (feat. 라이선스 체크는 필수!)

본격적인 구축에 앞서, 오늘 우리가 사용할 강력한 오픈소스 삼총사를 먼저 소개해 드릴게요. PM이라면 어떤 도구를 쓰든 라이선스를 확인하는 습관, 잊지 않으셨죠? 😉

1. 도커 (Docker) 📦 - 마법의 이사 센터
   • 이게 뭔가요? 복잡한 프로그램과 그에 필요한 모든 것들을 하나의 '컨테이너'라는 상자에 통째로 담아주는 기술입니다. 이 상자만 있으면 어디로 이사를 가든(어떤 PC에 설치하든) 내용물이 깨지거나 설정이 꼬일 걱정 없이 똑같이 작동하죠.
   • 라이선스: Apache 2.0 라이선스를 따르는 오픈소스입니다. 다만, 우리가 설치할 Docker Desktop은 개인이나 소규모 기업에서는 무료지만, 대규모 기업(직원 250명 이상 또는 연 매출 1000만 달러 이상)에서는 유료 구독이 필요하니, 우리 회사 규모에 맞게 꼭 확인하고 사용하셔야 합니다!
2. Open WebUI 🎨 - AI의 멋진 조종석
   • 이게 뭔가요? 1탄에서 봤던 딱딱한 명령어 창(터미널) 대신, 우리가 흔히 쓰는 챗GPT처럼 예쁘고 쓰기 편한 웹 화면을 제공해주는 도구입니다. 강력하지만 다루기 어려운 AI 엔진에 멋진 조종석을 달아주는 셈이죠.
   • 라이선스: MIT 라이선스입니다. 개인, 상업적 용도 모두 자유롭게 사용, 수정, 배포가 가능한 아주 착한 라이선스이니 안심하고 쓰셔도 좋습니다.
3. gpt-oss-20b 🧠 - 돌아온 전설의 두뇌
   • 이게 뭔가요? 최근 오픈소스로 공개되어 화제가 된 GPT-2 기반의 고성능 모델입니다. '전설적인 베테랑의 화려한 귀환'이랄까요? 검증된 안정성에 강력한 성능까지 더해져, 우리 AI 서버의 핵심 두뇌 역할을 훌륭하게 수행할 겁니다.
   • 라이선스: 이것 역시 MIT 라이선스를 따릅니다. 마음껏 활용해서 우리 회사만의 똑똑한 지식뱅크를 만들어보세요!

🧐 중요!: 오픈소스의 사용은 사용 용도에 따라서 위의 설명과 다른 부분이 있을 수 있습니다. 필요 시 공식 홈페이지에 가서 꼭 상세한 확인 바랍니다.

---

1단계: 오픈망에서 재료 준비하기

가장 먼저, 인터넷이 연결된 PC(오픈망)에서 폐쇄망으로 가져갈 모든 재료를 꼼꼼하게 준비해야 합니다.

가. NVIDIA CUDA Toolkit 다운로드 (GPU 성능 부스터!)

Ollama가 그래픽카드(GPU)의 힘을 제대로 쓰게 하려면 NVIDIA에서 만든 CUDA Toolkit이 꼭 필요합니다. 이걸 설치해야 AI의 연산 속도가 비약적으로 빨라지죠. 🚀

NVIDIA CUDA Toolkit 아카이브 페이지에 접속해서, 사용하려는 Ollama 버전과 호환되는 버전을 선택합니다. 그리고 가장 중요한 것! Installer Type을 local로 선택해서 오프라인 설치 파일을 다운로드해야 합니다.

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

CUDA Toolkit 12.1 Downloads

 

 

나. 새로운 두뇌 'gpt-oss-20b' 모델 다운로드

AI 서버의 새로운 두뇌가 될 'gpt-oss-20b' 모델을 설치합니다. 1탄에서 Ollama를 설치했던 PC의 터미널(명령 프롬프트)을 열고 아래 명령어를 입력해 주세요.

ollama pull gpt-oss:20b

✅ 중요! 모델 이름은 gpt-oss 이고, :20b는 버전을 의미하는 태그입니다. 이 명령어가 정확한 명령어입니다!

⚠️ 주의: 이 모델은 20B(200억) 파라미터의 고성능 모델이라 파일 크기가 아주 큽니다! (약 12GB 이상) 다운로드에 시간이 꽤 걸리니, 여유를 가지고 진행해주세요.

 

다. 마법 상자 '도커(Docker)' 다운로드

'Docker Desktop' 공식 웹사이트에 접속해 내 PC의 운영체제에 맞는 설치 파일을 다운로드합니다.

https://www.docker.com/

Docker: Accelerated Container Application Development

 

 

라. Open WebUI 도커 이미지 파일로 저장하기

마지막 재료입니다. 아래 두 명령어를 터미널에 차례대로 입력해서, Open WebUI를 파일 형태로 만들어줍니다.

• Open WebUI 이미지 다운로드:

docker pull ghcr.io/open-webui/open-webui:main

• 다운로드한 이미지를 파일로 저장:

docker save -o open-webui.tar ghcr.io/open-webui/open-webui:main

이제 open-webui.tar 라는 파일이 생성되었을 겁니다.

 

---

2단계: 폐쇄망 서버에 설치 및 실행하기

자, 이제 준비한 재료들을 들고 결전의 장소, 폐쇄망 서버 PC로 이동합니다!

가. 준비물 옮기기

오픈망에서 준비한 아래 4가지 파일을 보안 USB 또는 망연계 시스템을 통해 폐쇄망 서버 PC로 안전하게 옮깁니다.

1. CUDA Toolkit 오프라인 설치 파일
2. gpt-oss:20b 모델 파일 (.ollama/models 폴더 안에 있습니다)
3. Docker Desktop 설치 파일
4. open-webui.tar 파일

나. 폐쇄망 서버에 설치 진행

이제 서버 PC에서 아래 순서대로 차근차근 설치를 진행합니다.

1. NVIDIA CUDA Toolkit 설치: 가져온 설치 파일로 CUDA를 먼저 설치합니다.
2. Docker Desktop 설치: 다음으로 도커를 설치합니다. (설치 후 PC 재부팅이 필요할 수 있습니다)
3. Ollama 설치 및 모델 배치: 1탄과 동일하게 Ollama를 설치하고, 가져온 gpt-oss:20b 모델 파일을 .ollama/models 폴더에 넣어줍니다.

 

• Open WebUI 도커 이미지 로드: 터미널을 열고, 가져온 이미지 파일을 도커에 등록합니다.

docker load -i open-webui.tar

• Open WebUI 서버 최종 실행: 드디어 마지막 마법 주문입니다! 아래 명령어를 입력해 우리 팀의 AI 서버를 가동시킵니다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

모든 과정이 끝났습니다! 이제 팀원들에게 "http://[서버 PC의 IP 주소]:3000" 으로 접속하라고 알려주세요. 팀원 각자가 계정을 만들면, 드디어 우리 팀만의 AI 서버를 함께 사용할 수 있게 됩니다! 🥳

 

---

💡 수다쟁이 PM의 실전 꿀팁:

이번 리뷰를 잘 따라하시면 우리 회사만의 GPT를 구성할 수 있습니다! 이를 통해서 사내 인공지능 지식뱅크(AI-KMS)를 구축해보는 것도 좋겠죠~

AI-KMS 를 통한 다양한 활용방법은 추후 또다른 글로 공개할께요~

---

마무리

휴, 조금 복잡했지만 드디어 우리 팀만의 AI 협업 플랫폼이 완성되었습니다. 이제 더 이상 혼자서만 AI를 쓰는 외로운 PM이 되지 않아도 됩니다. 😭

이번 편에서는 복잡한 설치 과정을 따라오시느라 정말 고생 많으셨습니다. 하지만 이 서버가 앞으로 우리 프로젝트의 생산성을 얼마나 높여줄지를 생각하면, 오늘의 고생은 분명 값진 투자가 될 겁니다.

다음 편에서는 드디어 이 강력한 AI 서버를 200% 활용하는 방법을 자세히 알아보겠습니다. 사용자 관리, RAG를 활용한 문서 분석, 모델별 성능 비교 등 실무에 바로 써먹을 수 있는 꿀팁들을 대방출할 예정이니 기대해주세요!