[ ML/LLM ] 스케일링은 넘어 그것을 향해 (Feat.일리야 수츠케버)

일리야 수츠케버는 딥러닝 대가 제프린 힌터의 제자이며, 2015년 OpenAI를 공동 창립자이다.

이번 영상에서 그는 이제 스케일링의 시대는 갔다고 말한다.
이 영상에서는 현재 LLMs(여기서는 ML)이 어떻게 변화하고 있는 지 그리고 어디로 향하고 있는지를 간접적으로 느낄 수 있다.

영상 :

출처 : 스테이지5

영상에는 많은 내용이 나오는 데 개인적으로 가장 인상적인 부분을 추려서 정리해 보았다.

 

SSI

 

새로운 시대로 진입 시작

더 많은 데이터와 컴퓨팅 자원을 투입하면 성능이 향상될 것이라는 
'스케일링 법칙'은 지난 몇 년간 AI 발전을 이끌어온 황금률이었지만, 이제 그 한계에 다다랐다는 것.

 

왜?

데이터의 한계

사전학습의 원동력이 었던 데이터는 이제 점점 고갈되어 가고 있다. 
단순 컴퓨팅 자원을 100배로 늘린다고해서 과거와 같은 근본적인 성능 향상을 기대하기 어려워졌다.

 

병목의 이동

과거 AI 연구의 병목은 아이디어를 구현할 컴퓨팅 파워의 부족이었다.
하지만 이제 상황이 달라졌다. 컴퓨터 자원은 풍부해졌지만 아이디어 줄어들고 있다.

현재 기업의 수보다 아이디어의 수가 더 적다 라고 수츠케버는 말하고 있다.

 

 

새로운 시대의 그것 : 감정 or 가치 함수

AI가 인간과 유사해지려면 스스로 학습의 방향을 설정하고 올바른 의사결정으로 나아가야한다.

 

똑똑한 바보 AI를 예시로 든다.

모델에게 코드의 버그를 수정하라고 지시하면,
모델은 첫 번째 버그를 없애는 대신 두 번째 버그를 만들어낸다. 다시 두 번째 버그를 지적하면, 모델은 사과하며 첫 번째 버그를 되살리는 황당한 행동을 반복한다. 이 일화는 현재 모델이 문제의 근본 원인을 이해하는 것이 아니라, 피상적인 패턴 맞추기에 의존하고 있음을 명확히 보여준다.

 

 

감정 중추가 손상된 환자 이야기

 손상으로 감정 중추를 잃은 한 환자는 명료한 사고 능력에도 불구하고 양말 색깔 같은 사소한 결정조차 내리지 못했다. 

AI가 인간을 아직 따라가지 못하는 것은 여기선 

진화가 부여한 사전 지식과 감정이라는 내재적 가치 함수, 그리고 아직 밝혀지지 않은 우월한 학습 알고리즘이 결합된 것이 바로 AI가 아직 모방하지 못하는 인간의 직관적 이해, 즉 '본질(it factor)'의 핵심.