언어모델은 확률 모델임 [24] |
2026-01-20 17:38:12
ⓞ 추천
ⓤ 단축URL
|
24
93
컴미나
|
기존 확률분포와 다른 분포를 만드려면
새로운 데이터가 추가가 되어야 함
간단한 예시로
13세기까지 나온 서적들로만 LLM을 학습시킨다음에
천동설이 맞냐 지동설이 맞냐 물어보면
당연히 천동설이 맞다고 주장할거고
100000000년동안 AI끼리 주고받게 해서 데이터증강해봐야
지동설이 맞다는 확률분포는 만들어질수가 없을거임
그래서 이런 문제를 해결하기위해 1차적으로는 디지털트윈을 통해 LLM이 안에서 돌아다닐수있게 한다고
최종적으로는 현실세계에 피지컬을 가지고 돌아다니면서 스스로 무엇인가를 배울수있어야함
여기서도 한가지 문제가 생기는데
지금 트랜스포머 아키텍쳐로 만들어진 LLM들은 크기가너무크고, 일부분만 학습으로 업데이트하기위해서도 많은 리소스가필요함
게다가 동작중엔 학습이 안되고
（RAG는 학습이 아니다）
그렇기때문에 모델의 아키텍쳐도, 실시간 업데이트방법도
둘다 새로 고안할 필요가 있음
추천
