KnowledgeDistillation (1) 썸네일형 리스트형 지식 증류(knowledge distillation)란 무엇인가? AI 를 사용하다보면 정확도는 마음에 드는데… 모델이 너무 무거워서 서버가 감당하기 어려운 경우가 있습니다.여기서 등장하는 핵심 용어가 바로 지식 증류(knowledge distillation)입니다. 한 줄 요약을 하자면, 거대한 모델(선생, teacher)이 알고 있는 요령과 뉘앙스를 더 작은 모델(학생, student)에게 전수해서, 가볍고 빠르게 만들면서도 성능을 최대한 유지하는 모델 경량화/모델 압축 방법입니다. 이 글에서는 지식 증류의 원리를 일반인도 이해할 수 있게 예시로 풀어 설명하고, 개발 관점에서 “대체 어떻게 학습시키는지”까지 정확하게 정리해 보겠습니다.왜 지식 증류가 필요할까대형 딥러닝 모델은 보통 성능(정확도, F1, BLEU 등)을 끌어올리기 위해 파라미터 수와 연산량을 크게 늘.. 이전 1 다음