[내일배움캠프 QA/QC 6기] TIL #057 <<< AI >>>

오늘은 리포팅 자동화 특강 들은 게 있어서

그거 들으면서 적은 내용들 간단하게... 정리해보겠음

 

1. 데이터 = AI의 경쟁력 (Labeling)

• 데이터량 = 경쟁력: 단순 데이터 수집을 넘어 정답지(Labeling)가 포함된 데이터가 핵심 자산이 됨.
• 레이블링의 필요성: 아무리 데이터를 많이 모아도 라벨링이 없으면 Supervised Learning(지도학습)에 활용 불가.
  • 예: 공정 데이터를 대량 수집해도 '정상/불량' 표시가 없으면 AI 학습 불가능.

 

2.  LLM의 진화와 RLHF

• 사전 학습 : 기존 딥러닝과 달리 인터넷의 방대한 텍스트를 '빈칸 채우기' 방식으로 학습하여 데이터 수집 단계를 획기적으로 단축.
• RLHF (인간 피드백 기반 강화학습): 챗GPT 등장의 계기? 사람이 직접 만든 소량의 고품질 질문-모범답안 세트를 주입하여 대화 능력 부여 (지식 축적 --> 입이 트이는 단계).
• 결론: 기본 지식은 대량 데이터로 구축하되, 소량의 고품질 튜닝 데이터가 모델의 대화 품질과 성능을 좌우함.

 

3.  LLM의 본질 = 확률 게임 

• 작동 원리: AI가 사고하는 것이 아니라 매 순간 다음에 올 확률이 가장 높은 단어를 예측하여 이어 붙이는 방식
• 할루시네이션(환각) 원인: 확실한 답이 없어도 확률상 존재하는 단어를 억지로 조합해 답변을 만들어내기 때문 <<< 대화형ai 쓰면서 제일 짜증나는 부분...
• 👍 장점: 광범위한 지식 활용, 페르소나 부여, 창의적 글쓰기, 자유로운 포맷 변환
• 👎 단점: 할루시네이션, 기억력/입출력 길이 한계, 실시간 최신 정보 부재

 

4. Temperature (창의성 조절 파라미터)

• 0에 가까울 때: 1위 확률 단어만 엄격하게 선택 --> 결정적/사실적 답변 (요약, 팩트 체크에 적합)
• 2에 가까울 때: 2위, 3위 확률 단어도 적극 믹스 --> 독창적이고 창의적인 글쓰기 가능
• ⚠️ 주의사항: 1.4 이상 올라가면 외계어나 언어 혼용 현상 발생
• 사용 환경: 웹 UI는 기본값(보통 1) 고정 / API 호출 시 자유롭게 파라미터 조절 가능

 

5. 토큰(Token)과 언어별 효율성

• 한국어 토큰 불이익: 토크나이저가 영어 데이터 위주로 학습되어 있어 한국어 질의 시 더 많은 토큰 소비
• 💡 프롬프트 팁: 영어로 질문을 작성하고 끝에 "Please answer in Korean"을 붙이면 토큰 사용량 절약 가능
• 앞으로...: 한국어 최적화 토크나이저 구조 및 성능 파악 필요

 

💡 

1. 데이터의 질과 라벨링: AI 성능의 근본은 결국 잘 정제된 데이터와 RLHF 같은 고품질 피드백 데이터
2. LLM의 확률적 한계 인정: 매순간 확률 계산으로 답변을 만드는 특성을 이해해야 할루시네이션을 제어하고 적절한 파라미터(Temperature 등)를 설정할 수 있음.
3. 토큰 효율화: 언어별 토큰 구조 차이를 이해하고 프롬프팅 팁을 활용해 비용과 성능을 최적화하는 습관이 중요함.