파운데이션 모델(Foundation Model)이란 무엇인가?

요즘 “생성형 AI”, “대규모 언어 모델(LLM)”, “멀티모달” 같은 단어가 뉴스와 업무 대화에 기본 옵션처럼 붙어 다니죠. 그런데 이 유행어들의 뿌리에는 공통 조상이 하나 있습니다. 바로 파운데이션 모델(Foundation Model)입니다.

 

이 글의 목표는 단순합니다.
파운데이션 모델이 정확히 무엇인지, 왜 중요한지, 그리고 AI 시대에 같이 따라다니는 핵심 용어들을 일반인도 이해할 수 있게 예시로 풀어 설명하는 것입니다.

---

파운데이션 모델이 뭐길래 “파운데이션”일까?

파운데이션(Foundation)은 말 그대로 “기초 공사”입니다.
파운데이션 모델은 다양한 작업에 두루 쓸 수 있도록, 아주 큰 규모의 데이터로 미리 학습(pretraining)해 둔 범용 모델을 말합니다.

 

핵심 특징은 딱 두 가지로 정리됩니다.

1. 범용성: 한 가지 일만 하는 모델이 아니라, 여러 작업에 재사용할 수 있습니다.
2. 적응성: 추가 학습(파인튜닝)이나 프롬프트 설계만으로도 특정 목적에 맞게 바꿔 쓸 수 있습니다.

예시로 비유하면 이렇습니다.

• 전통적 방식: “김치찌개 전용 기계”, “된장찌개 전용 기계”를 각각 만듦
• 파운데이션 모델 방식: “만능 조리 로봇”을 크게 하나 만들고, 레시피(프롬프트)나 튜닝(파인튜닝)으로 메뉴를 바꿈

---

파운데이션 모델과 LLM은 같은 말일까?

겹치지만 동일하진 않습니다.

• 파운데이션 모델: 범용으로 재사용 가능한 “큰 기반 모델”이라는 범주(개념)
• LLM(대규모 언어 모델): 그중에서 텍스트(언어)를 다루는 모델 유형

즉, LLM은 파운데이션 모델의 대표 선수고, 파운데이션 모델은 더 큰 팀 이름에 가깝습니다.
텍스트뿐 아니라 이미지, 음성, 영상 등을 다루는 파운데이션 모델도 있습니다(멀티모달 포함).

---

어떻게 학습하길래 범용이 되는가: “사전학습”의 의미

파운데이션 모델은 보통 사전학습(pretraining) 단계에서 엄청나게 다양한 데이터를 통해 “세상의 패턴”을 넓게 익힙니다.

언어 모델의 대표적인 학습 목표(직관적으로)

• 다음 단어(토큰)를 잘 맞히도록 학습하거나
• 문장 중 일부를 가리고(Masked) 빈칸을 채우도록 학습하는 식입니다

중요한 점은 “정답 데이터가 깔끔하게 라벨링된 교과서만 보는 게 아니라”, “현실의 다양한 텍스트 패턴”을 대규모로 익힌다는 겁니다. 그래서 특정 분야로 옮겨갈 때(법률, 의료, 고객센터 등) 응용이 쉬워집니다.

---

AI 시대 핵심 용어 사전: 파운데이션 모델을 이해하는 데 꼭 필요한 단어들

아래 표는 현업/뉴스/대화에서 가장 자주 튀어나오는 용어들을 “한 줄 정의 + 예시”로 정리한 것입니다.

용어	쉬운 설명	예시
프롬프트(Prompt)	모델에게 주는 지시문(입력)	“아래 글을 요약해줘”
토큰(Token)	모델이 텍스트를 쪼개 처리하는 단위	“안녕하세요”가 여러 조각으로 쪼개질 수 있음
컨텍스트 윈도우(Context Window)	한 번에 참고할 수 있는 입력 길이 한도	긴 문서가 중간에서 잘리면 기억 못 함
사전학습(Pretraining)	대규모 데이터로 기본 실력을 만드는 단계	다양한 글을 읽고 언어 감각을 키움
파인튜닝(Fine-tuning)	특정 목적에 맞게 추가 학습	우리 회사 상담 말투로 맞춤
전이학습(Transfer Learning)	배운 능력을 다른 작업에 가져다 쓰는 방식	글쓰기 능력 → 요약/번역에도 활용
임베딩(Embedding)	텍스트/이미지를 숫자 벡터로 바꾼 표현	비슷한 문서끼리 가까운 좌표에 위치
RAG	외부 문서를 찾아 붙여 답변 정확도를 올리는 방식	사내 위키 검색 후 답변 생성
환각(Hallucination)	그럴듯하지만 틀린 내용을 만들어내는 현상	없는 규정을 “있는 것처럼” 말함
정렬(Alignment)	사람 의도/안전 기준에 맞게 행동하도록 조정	공격적/위험한 답변을 피하도록 학습

---

파운데이션 모델을 실무에서 쓰는 4가지 대표 패턴

1) 프롬프트만 잘 써도 되는 경우

문서 요약, 초안 작성, 아이디어 발산처럼 “정확성 100점이 필수는 아닌” 작업은 프롬프트로 충분한 경우가 많습니다.

• 좋은 프롬프트의 특징
  • 역할 지정: “너는 고객지원 매니저야”
  • 출력 형식 지정: “표로 정리해줘”
  • 제약 조건 지정: “근거 없는 내용은 모른다고 말해줘”

2) RAG: 정확도가 중요한 경우의 기본기

사내 규정, 제품 매뉴얼, 계약서처럼 “틀리면 사고”인 분야에서는 RAG가 자주 선택됩니다.

RAG의 흐름은 간단합니다.

1. 질문을 임베딩으로 변환
2. 벡터 검색으로 관련 문서 조각을 찾음
3. 찾은 문서를 프롬프트에 넣고 답변 생성

이 방식의 장점은 “모델이 모르는 최신/내부 지식”을 외부 문서로 보강할 수 있다는 점입니다.

3) 파인튜닝: 말투/형식/분야 지식이 반복될 때

예를 들어 “항상 우리 회사 톤으로 답해야 한다”거나 “특정 양식의 리포트를 매번 같은 구조로 만들어야 한다” 같은 경우는 파인튜닝이 효율적일 수 있습니다.

다만 주의점도 있습니다.

• 데이터 품질이 나쁘면 모델도 나빠집니다(쓰레기 넣으면 쓰레기 나옴)
• 개인정보/기밀 데이터 사용 시 보안·규정 이슈가 생길 수 있습니다
• 문제는 “지식 부족”인데 파인튜닝으로만 해결하려 하면 비용만 늘고 효과가 약할 때가 많습니다(이럴 땐 RAG가 더 정답인 경우가 많음)

4) 툴 사용(Tool use): 모델이 “실행”까지 하게 만들기

파운데이션 모델은 텍스트만 잘 쓰는 게 아니라, 도구 호출을 통해 검색/DB조회/계산/티켓 생성 같은 업무 흐름을 자동화할 수 있습니다.

단, 여기서부터는 “모델이 뭔가를 한다”가 아니라 “시스템이 안전하게 통제한다”가 중요해집니다.
권한, 로깅, 승인(휴먼 인 더 루프) 같은 장치가 없으면 자동화가 자동 사고로 바뀔 수 있습니다.

---

(기술 코너) RAG를 아주 단순화한 예시 코드

아래는 “문서 임베딩 + 유사 문서 검색”의 감을 잡기 위한 최소 예시입니다.
실무에서는 문서 분할 전략, 메타데이터, 재랭킹, 접근제어, 로깅 등이 추가로 필요합니다.

# 설치 예시:
# pip install sentence-transformers faiss-cpu

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

docs = [
    "환불은 결제일로부터 7일 이내에 가능합니다.",
    "배송은 영업일 기준 2~3일 소요됩니다.",
    "회원 탈퇴 후 데이터는 30일 보관됩니다."
]

model = SentenceTransformer("all-MiniLM-L6-v2")
emb = model.encode(docs, normalize_embeddings=True)  # (N, D)

index = faiss.IndexFlatIP(emb.shape[1])  # 코사인 유사도(정규화했으니 내적=코사인)
index.add(np.array(emb, dtype=np.float32))

query = "환불 기간이 어떻게 되나요?"
q_emb = model.encode([query], normalize_embeddings=True)
scores, ids = index.search(np.array(q_emb, dtype=np.float32), k=2)

for rank, i in enumerate(ids[0], start=1):
    print(rank, docs[i], float(scores[0][rank-1]))

 

주의할 점(중요):

• 임베딩 모델/벡터DB에 따라 성능이 크게 달라질 수 있습니다
• 문서가 길면 적절히 쪼개서(청크) 저장해야 검색 품질이 올라갑니다
• 내부 문서(RAG 소스)에 개인정보/기밀이 포함되면 접근 제어가 필수입니다

---

파운데이션 모델에 대한 흔한 오해 5가지

오해 1) “파운데이션 모델은 다 아는 만능 정답 머신이다”

아닙니다. 모르는 건 틀릴 수도 있고, 그럴듯하게 지어낼 수도 있습니다(환각).
정확도가 중요한 업무는 RAG, 검증 로직, 휴먼 리뷰가 필요합니다.

오해 2) “파인튜닝만 하면 환각이 사라진다”

환각은 구조적 특성과 입력/근거 부족에서 생기기도 합니다.
근거가 필요한 문제는 RAG와 검증이 더 직접적인 해결책인 경우가 많습니다.

오해 3) “큰 모델이면 무조건 좋다”

성능이 오를 수는 있지만, 비용/지연/운영 난이도도 같이 올라갑니다.
작업에 따라 작은 모델 + 좋은 데이터 + 좋은 파이프라인이 더 낫기도 합니다.

오해 4) “프롬프트는 감(센스)이다”

센스도 있지만, 재현 가능한 설계가 가능합니다.
입력 구조, 출력 포맷, 실패 조건(모르면 모른다고 말하기), 예시 제공 같은 원칙이 있습니다.

오해 5) “AI 도입은 모델 선택이 전부다”

실무에서는 데이터 품질, 평가(Eval), 보안, 모니터링, 비용 관리가 절반 이상입니다.
모델은 엔진이고, 제품은 자동차 전체입니다. 엔진만 좋다고 레이싱에서 이기진 않습니다.

---

정리: 파운데이션 모델을 이해하면, AI 유행어가 한 줄로 정리된다

파운데이션 모델은 “대규모로 미리 학습된 범용 기반 모델”이고,
우리가 흔히 말하는 생성형 AI의 많은 기능은 이 기반 위에 프롬프트, RAG, 파인튜닝, 툴 사용 같은 방식으로 얹혀서 구현됩니다.

 

파운데이션 모델을 제대로 이해하면, 다음이 훨씬 쉬워집니다.

• 어떤 문제는 프롬프트로 끝나고
• 어떤 문제는 RAG가 필수이고
• 어떤 문제는 파인튜닝이 비용 대비 효과가 있고
• 어떤 문제는 아예 자동화 설계(권한/검증/로그)가 핵심인지를 구분하게 됩니다

AI 시대의 핵심은 “모델이 똑똑한가”가 아니라, “우리가 똑똑하게 쓰는가”에 더 가깝습니다.

---

참고자료

• Bommasani et al., On the Opportunities and Risks of Foundation Models (arXiv): https://arxiv.org/abs/2108.07258
• Vaswani et al., Attention Is All You Need (Transformer 원 논문, arXiv): https://arxiv.org/abs/1706.03762
• Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (arXiv): https://arxiv.org/abs/1810.04805
• Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5, arXiv): https://arxiv.org/abs/1910.10683
• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (RAG, arXiv): https://arxiv.org/abs/2005.11401
• Sentence-Transformers 문서: https://www.sbert.net/
• FAISS GitHub: https://github.com/facebookresearch/faiss