AI와 자연어처리(NLP)에 관심 있는 분들이라면 한 번쯤 **Hugging Face(허깅페이스)**라는 이름을 들어보셨을 겁니다.
허깅페이스는 다양한 오픈소스 AI 모델을 제공하는 세계 최대 규모의 플랫폼으로,
초보자부터 전문가까지 누구나 쉽게 사용할 수 있는 환경을 제공합니다.
이번 글에서는 Hugging Face에서 사전학습(pretrained)된 모델을 불러오는 방법을
처음 시작하는 분들도 이해할 수 있도록 단계별로 설명하겠습니다.
🤗 Hugging Face란?
Hugging Face는 AI 모델 공유와 협업을 위한 오픈소스 플랫폼입니다.
특히 자연어처리(NLP) 분야에서 유명한 Transformers 라이브러리로 잘 알려져 있습니다.
주요 특징
- 다양한 사전학습 모델(BERT, GPT, T5 등) 제공
- 간단한 코드로 모델 불러오기 가능
- 파이썬 기반으로 직관적 사용 가능
- 문서화와 커뮤니티가 잘 되어 있어 학습에 유리
🧩 사전 준비 – 설치
Hugging Face 라이브러리를 사용하려면 먼저 필요한 패키지를 설치해야 합니다.
pip install transformers |
추가로 GPU를 사용하고 싶다면, PyTorch 또는 TensorFlow도 함께 설치해 주세요.
# PyTorch 설치 (예시) pip install torch |
🧪 모델 불러오기 – 기본 예제
가장 기본적인 형태는 다음과 같습니다.
BERT 모델을 불러오고 토크나이저로 문장을 처리하는 예제입니다.
from transformers import AutoTokenizer, AutoModel # 모델 이름 지정 (BERT 기반) model_name = "bert-base-uncased" # 토크나이저 불러오기 tokenizer = AutoTokenizer.from_pretrained(model_name) # 모델 불러오기 model = AutoModel.from_pretrained(model_name) |
다양한 모델 이름은 Hugging Face의 모델 허브(https://huggingface.co/models)에서 확인할 수 있습니다.
📦 Hugging Face에서 제공하는 모델 종류
Hugging Face에서는 다음과 같은 다양한 목적의 모델들을 제공합니다:
용도 | 대표 모델 | 설명 |
문장 분류 | BERT, RoBERTa | 감정 분석, 카테고리 분류 등 |
텍스트 생성 | GPT-2, GPT-neo | 문장 자동 생성, 요약 |
번역 | MarianMT, T5 | 다국어 번역 |
질문-응답 | BERT QA, DistilBERT | 문서에서 정답 추출 |
요약 | BART, T5 | 긴 문장을 짧게 요약 |
🧠 입력값 인코딩과 모델 출력
모델을 사용하려면 입력 문장을 토크나이저로 처리하고, 그 결과를 모델에 전달해야 합니다.
sentence = "Hugging Face is amazing!" inputs = tokenizer(sentence, return_tensors="pt") # pytorch용 텐서 반환 outputs = model(**inputs) # 출력 예시 print(outputs.last_hidden_state.shape) # torch.Size([1, 토큰 수, 768]) |
이렇게 출력된 텐서는 각 토큰에 대한 특징 벡터를 담고 있으며,
추가적으로 분류나 요약, 생성 등의 태스크에 활용할 수 있습니다.
💡 Tip: 한국어 모델도 있다!
영어뿐만 아니라 한국어 모델도 많습니다. 예를 들어:
model_name = "beomi/kcbert-base" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) |
이처럼 모델 이름만 바꾸면 한국어 기반의 BERT 모델도 쉽게 사용할 수 있습니다.
✅ 마무리 – 복잡한 AI 모델을 쉽게 다루는 법
Hugging Face의 가장 큰 장점은 복잡한 AI 모델도 손쉽게 불러와 사용할 수 있다는 점입니다.
단 몇 줄의 코드로 BERT, GPT, T5 등 고급 모델을 바로 테스트할 수 있어,
AI 입문자에게도 실습과 학습의 진입 장벽을 크게 낮춰줍니다.
지금 Hugging Face에 접속해 원하는 모델을 찾아보고, 직접 불러와 테스트해보세요.
코드 한 줄로 AI가 얼마나 가까운 기술인지 실감할 수 있을 것입니다.
'실습 튜토리얼' 카테고리의 다른 글
AI 이미지로 우리 아이 캐릭터 만들기 – 사진 한 장으로 귀여운 아바타 완성! (0) | 2025.04.04 |
---|---|
챗봇 기초 따라하기 – ChatGPT API로 나만의 AI 대화봇 만들기 (0) | 2025.04.02 |
처음 시작하는 사람을 위한 Colab 사용법 A to Z (0) | 2025.04.01 |
Python으로 AI 만들기 – 코딩 초보도 가능한 인공지능 첫걸음 (4) | 2025.04.01 |