요즘 난리난 LLM, PM이 알아야 할 모든 것 (2편: 오픈소스 LLM & 실전 꿀팁)

요즘 난리난 LLM, PM이 알아야 할 모든 것 (2편: 오픈소스 LLM & 실전 꿀팁)

안녕하세요, 여러분의 프로젝트 성공 파트너, 수다쟁이 PM입니다! 🙋‍♀️

https://projectzoo.tistory.com/43

지난 1편에서는 잘 닦인 아우토반을 달리는 멋진 '슈퍼카(상용 LLM)' 🚗들을 만나봤죠? 이번 2편에서는 우리 손으로 직접 엔진을 뜯어고치고 자신만의 '커스텀 카(오픈소스 LLM)' 🛠️를 만드는, 짜릿한 오프로드의 세계로 떠나보겠습니다! 약간의 흙먼지를 뒤집어쓸 각오가 되어 있다면, 세상에 단 하나뿐인 우리만의 AI를 만들 수 있는 아주 매력적인 길이죠!

---

1. 오픈소스 LLM: 내 손으로 만드는 AI (2025년 7월 기준)

우리가 직접 설치하고, 우리 데이터로 마음껏 튜닝할 수 있는, 자유도가 높은 LLM입니다. 커스터마이징과 보안에 유리하지만, 그만큼 높은 기술력과 튼튼한 인프라(비싼 GPU...😭)가 필요하죠.

 

글로벌 LLM Top 5

Llama 4 (Meta): 명실상부 오픈소스계의 '어벤져스 리더' 같은 존재입니다. 👑 상용 모델과 격차를 거의 없앤 압도적인 성능으로 생태계를 평정했죠. "오픈소스 뭐 쓸까?" 고민될 때 일단 Llama를 기준으로 생각하면 실패할 확률이 적습니다.

• 장점: 현존 최강의 오픈소스 성능, 다양한 모델 크기 제공, 가장 활발한 커뮤니티와 풍부한 개발 자료.
• 단점: 최상위 모델 구동을 위한 고사양 인프라 필수, 한국어 데이터는 여전히 부족하여 별도 튜닝 필요.
• 라이선스: Llama 4 Community License (상업적 이용 가능하나, 월간 활성 사용자 7억 명 이상 서비스에는 별도 라이선스 필요).

Qwen 2.5 (Alibaba): 무섭게 치고 올라온 '아시아의 맹주'입니다. 🐼 특히 영어와 중국어를 포함한 다국어 처리 능력이 뛰어나고, 코딩이나 수학 같은 추론 능력에서도 Llama와 대등한 성능을 보여줍니다.

• 장점: 뛰어난 다국어 처리 능력, 코딩/수학 등 이과적(?) 능력에 강점, 72B 모델까지 공개되어 높은 성능 제공.
• 단점: 영어권 중심의 Llama 대비 국내 인지도는 낮은 편, 커뮤니티 규모가 아직 성장 중.
• 라이선스: Tongyi Qianwen LICENSE AGREEMENT (상업적 이용 가능). 

Mistral Large 2 / Mixtral (Mistral AI): 프랑스에서 날아온 '유럽의 신성'입니다. 🥐 Mixtral 모델은 MoE(전문가 혼합)라는 독특한 아키텍처로 '가성비'를 잡았고, Large 2는 상용 모델이지만 오픈소스 생태계에 큰 영향을 주고 있습니다.

• 장점: 효율적인 MoE 아키텍처로 인한 빠른 추론 속도, 개방적인 라이선스 정책(Mixtral).
• 단점: Llama 4 대비 성능 우위가 명확하지 않고, 국내 커뮤니티나 자료는 상대적으로 적음.
• 라이선스: Mixtral은 Apache 2.0 (상업적 이용 가능), Mistral Large 2는 상용 API로만 제공. 

Phi-4 (Microsoft): '작은 고추가 맵다'는 걸 보여주는 친구입니다.🌶️ '소형 언어 모델(SLM)'이라는 개념으로, 스마트폰 같은 작은 기기에서도 구동될 만큼 가볍고 효율적이라 '온디바이스 AI' 시장에서 가장 주목받는 모델입니다.

• 장점: 매우 낮은 하드웨어 요구사항, 특정 작업에서는 대형 모델보다 효율적, 비용 효율적인 솔루션 구축 가능.
• 단점: 복잡하고 방대한 지식이 필요한 작업에는 부적합, 범용성보다는 특정 목적에 맞춰 사용해야 함.
• 라이선스: MIT License (상업적 이용에 매우 자유로움). 

Gemma 3 (Google): 구글의 '최신 오픈소스 DNA'입니다. 🧬 상용 모델인 제미나이 기술을 그대로 녹여내, 성능과 효율성을 대폭 개선하여 Llama 4의 아성에 도전하고 있습니다.

• 장점: 제미나이와 동일한 기술 기반, 구글 클라우드(GCP)와 최적의 호환성, 엄격한 안전 필터링 적용.
• 단점: 동급의 다른 모델 대비 성능이 약간 아쉽다는 평이 있음, 커뮤니티 규모가 Llama 대비 작음.
• 라이선스: Gemma Terms of Use (상업적 이용 가능). 

 

한국 LLM Top 5

SOLAR (Upstage): '월드클래스 챔피언'입니다. 🥇 국내 AI 스타트업 업스테이지가 개발, 허깅페이스 '오픈 LLM 리더보드' 1위를 차지하며 세계적으로 성능을 검증받은, 우리 국산 기술의 자존심이죠!

• 장점: 세계적으로 검증된 높은 성능, 한국어 데이터 및 지시사항에 대한 이해도 높음.
• 단점: 특정 버전에 따라 상업적 이용에 라이선스 확인이 필요할 수 있음.
• 라이선스: Apache 2.0 (상업적 이용 가능).

A.X 4.0 (SKT): '통신사의 오픈소스 참전'입니다. 📡 한국어에 특화된 토크나이저와 방대한 통신 데이터를 활용해, 국내 비즈니스 환경에 최적화된 성능을 보여줍니다.

• 장점: 한국어 처리 효율 극대화, 통신사 데이터 기반의 현실적인 언어 구사.
• 단점: 범용 성능은 글로벌 오픈소스 모델 대비 검증이 더 필요함.
• 라이선스: Apache 2.0 (상업적 이용 가능).

믿음(Midm) 2.0 (KT): KT의 야심작입니다. 🤝 한국어/문화 이해도를 높인 범용 모델을 상업적 이용까지 가능하도록 공개하여 국내 AI 생태계에 기여하고 있습니다.

• 장점: 상업적 활용이 가능한 라이선스, B2B 솔루션 구축 경험 기반.
• 단점: 아직 커뮤니티가 활성화되지 않아 활용 사례를 찾기 어려움.
• 라이선스: MIT License (상업적 이용에 매우 자유로움).

Ko-Alpaca (Beomi): '한국형 튜닝의 선구자'입니다. 🧑‍🍳 저비용으로 한국어 지시를 따르도록 파인튜닝하는 방법을 공개하여, 국내에 "나도 LLM 한번 만들어볼까?"하는 열풍을 일으킨 상징적인 프로젝트입니다.

• 장점: 한국어 파인튜닝의 대중화를 이끌었음, 다양한 파생 모델의 기반이 됨.
• 단점: 성능 자체는 최신 모델 대비 많이 부족하며, 상용 서비스보다는 연구/학습용에 가까움.
• 라이선스: Non-commercial (비상업적) 라이선스를 따르는 경우가 많아 확인 필수.

KULLM (고려대학교): '학계의 자존심'입니다. 🏛️ 고려대학교 연구팀이 개발한 한국어 특화 모델로, 특히 법률, 의료 등 전문 분야에서의 활용 가능성을 보여준 의미 있는 모델입니다.

• 장점: 높은 신뢰도의 학술 기관에서 개발, 전문 분야 데이터 학습에 강점.
• 단점: 상용 모델 대비 접근성이 낮고, 지속적인 업데이트 및 유지보수가 필요함.
• 라이선스: CC BY-NC-SA 4.0 등 비상업적, 연구용 라이선스를 따르는 경우가 많아 확인 필수.

 

2. 💡 수다쟁이 PM의 쓴소리: 장밋빛 미래 뒤에 숨은 LLM의 그림자

자, 이렇게 똑똑한 LLM이지만, 아직 해결해야 할 숙제도 많습니다. 우리 PM들은 이런 문제점도 명확히 알고 있어야겠죠?

• 환각 현상 (Hallucination): 이 친구, 일은 잘하는데 가끔 자기가 모르는 것도 아는 척, 심지어 창작해서 보고하는 뻔뻔한 신입사원 같아요. 😅 중요한 정보는 반드시 교차 검증해야 합니다.
• 저작권 문제 (Copyright): 인터넷의 수많은 데이터로 학습하다 보니, 저작권이 있는 글이나 코드를 뱉어낼 수 있습니다. 이로 인한 법적 분쟁은 현재 진행형인 뜨거운 감자입니다. 🔥
• 개인정보 및 보안 (Privacy & Security): 상용 LLM에 회사 내부 자료나 개인정보를 입력하는 것은 매우 신중해야 합니다. "우리 회의록 요약해줘"라고 입력하는 순간, 그 정보가 어딘가로 날아갈 수 있다는 걸 잊지 마세요!
• 편향성과 공정성 (Bias & Fairness): 인터넷이라는 '편식 심한 스승'에게 배워서, 사회의 잘못된 고정관념(인종, 성별 등)까지 그대로 따라 하는 경우가 많습니다. AI의 답변이 편향되지 않도록 주의 깊게 살펴봐야 합니다.
• 설명가능성 부족 (The Black Box Problem): "답은 아는데 풀이과정은 몰라요"라고 말하는 학생 같아요. '왜' 그런 답변을 했는지 설명하지 못하는 점은 금융, 의료 등 책임이 중요한 분야에서는 치명적인 단점이죠.
• 엄청난 전력 소비 (Power Consumption): LLM은 말 그대로 '전기 먹는 하마'입니다. 🦛 이로 인한 환경 문제도 무시할 수 없는 이슈입니다.
• 일자리 문제와 경제적 영향 (Job Issues & Economic Impact): AI가 단순 반복 업무를 넘어 전문직의 영역까지 대체할 수 있다는 가능성이 커지면서, 사회 경제적인 구조 변화에 대한 고민도 함께 깊어지고 있습니다.

 

3. 💡 수다쟁이 PM의 선택은? (상황별 LLM 치트키)

자, 그럼 이렇게 많은 모델들 중에서, 우리 PM들은 어떤 상황에 어떤 모델을 써야 할까요? 고민할 시간을 줄여드리기 위해 제가 치트키를 만들어 왔습니다!

• 일반적인 자료 조사나 질문/답변이 필요할 때 → Gemini 또는 ChatGPT
• 제안서나 보고서 등 '출처'가 명확해야 하는 작업을 할 때 → Perplexity
• 소설, 블로그 글 등 길고 창의적인 설명글이 필요할 때 → Claude
• 공공기관이나 기업 내부 프로젝트 등 '보안'이 생명일 때 → 설치형 오픈소스 LLM 사용 (고성능이 필요하면 Gemma 또는 Llama를, 효율성이 중요하다면 Phi-3 같은 소형 모델을 선택하면 됩니다.)

---

💡 수다쟁이 PM의 실전 꿀팁: AI, '부사수'로 부리고 '비밀병기'로 만들기

꿀팁 1: AI를 24시간 일하는 '만능 부사수'로 활용하기

AI에게 '정답'을 기대하기보다, '초안'을 만들게 하고 우리는 그것을 '수정'하고 '개선'하는 데 시간을 쓰는 것, 이것이 바로 AI 시대를 살아가는 PM의 현명한 일 처리 방식입니다.

• 기획 단계: 시장 조사 자료를 요약시키거나, "신규 서비스 기획안 초안 좀 써줘" 같은 브레인스토밍 파트너로 활용하세요.
• 분석/설계 단계: 고객 인터뷰 스크립트를 주고 "사용자 요구사항 목록으로 정리해줘"라고 하거나, "이 기능에 대한 유저 스토리 좀 작성해줘"라고 시켜보세요.
• 구현/테스트 단계: 개발자가 막히는 부분에 대해 "이 레거시 코드 설명해줘" 또는 "이 로직에 대한 단위 테스트 코드 짜줘" 같이 개발을 '지원'하는 용도로 쓸 수 있습니다.
• 마무리/문서화 단계: "PM의 목숨줄"인 문서 작업 시간을 획기적으로 줄여줍니다! 주간보고, 완료보고, 회의록, 사용자 매뉴얼 등의 초안 작성을 맡겨보세요.

 

꿀팁 2: 내 PC에 '보안 걱정 없는' AI 비밀병기 만들기 (LM Studio)

"상용 LLM은 보안 규정상 못 쓰고, 오픈소스는 너무 어려워 보여요" 라는 분들을 위해, 데이터 유출 걱정 없이 LLM을 쓰는 비법을 알려드릴게요. 바로 LM Studio라는 툴로 Gemma 3 같은 최신 모델을 내 PC에 직접 설치하는 겁니다!

1. LM Studio 다운로드 및 설치: lmstudio.ai 웹사이트에서 여러분의 OS에 맞는 버전을 다운로드하고 설치하세요. 'LLM을 위한 앱스토어'라고 생각하시면 됩니다.
2. 모델 검색: LM Studio를 실행하고, 검색창(돋보기 아이콘)에 "Gemma 3"라고 검색하세요.
3. 모델 선택 및 다운로드: 검색된 파일 중 보통 'Recommended'나 '가장 많이 다운로드된' 딱지가 붙은, Q4_K_M이나 Q5_K_M 같은 중간 크기 파일을 고르는 게 무난합니다. 'Download' 버튼을 누르세요.
4. AI와 대화 시작!: 다운로드가 끝나면, 채팅 아이콘(💬)을 누르고, 상단에서 방금 다운로드한 모델을 선택(Load)한 후 대화를 시작하면 끝! 이제 인터넷 연결 없이도 안전하게 AI 비서가 작동합니다.

마무리하며

이제 LLM 시장의 지도가 조금은 그려지시나요? '최고의 LLM'은 없습니다. 우리 프로젝트의 예산, 기간, 데이터 보안 정책, 필요한 성능, 그리고 우리가 가진 기술력에 따라 '최적의 LLM'이 있을 뿐이죠. 이제 우리 PM들도 각 LLM의 특징을 이해하고, 우리 프로젝트에 맞는 '최적의 AI 동료'를 선택할 수 있는 안목을 길러야 할 때입니다. 🚀

 📚 더 읽어보기

LLM의 핵심 기술(트랜스포머, RAG 등)이 더 궁금하시다면, 아래 글을 참고해보세요!

쳇GPT(LLM) 파헤치기: 인공지능(AI)이 이렇게 똑똑해진 비밀! 🕵️‍♀️

쳇GPT(LLM) 파헤치기: 인공지능(AI)이 이렇게 똑똑해진 비밀!  🕵️‍♀️