[ AI/LLMs ] AI 연구의 세 가지 핵심: 메모리, 세계 모델, 추론 (Feat.Joelle Pineau)

조엘 피노(Joelle Pineau), Cohere 최고 AI 책임자

wiki

https://en.wikipedia.org/wiki/Jo%C3%ABlle_Pineau

 

참조 영상

 

2017년 주의 집중이 필요한 전부다(Attention is all you need)였지만,
이제 우리는 지능을 구현하기 위해 그 이상의 것이 필요하다는 사실.

 

그녀는 말한다.
이제는 데이터 학습을 넘어 행동 결과를 예측하고 복합적인 계획을 세우는 역량이 핵심이다.

메모리, 세계 모델, 추론 능력

 

---

 

메모리: 방대한 정보 속에서 필요한 것만 골라내는 능력

그냥 메모리만 있으면 되는 것은 아니다.
진정한 메모리 지능이란 수조 개의 데이터 속에서 현재의 예측과 추론을 위해 어떤 정보를 언제 꺼내 쓸지를 지능적으로 선택하는 능력이다.

 

핵심 요소 설명: 시각적 이해

임베딩(Embeddings): 
방대한 도서관의 책들을 단순 나열하는 것이 아니라, 내용의 의미에 따라 '수학적 좌표 지도'로 변환하는 과정
정보를 효율적으로 압축하여 지능이 읽을 수 있는 지도로 만듬

 

검색(Retrieval): 
수만 개의 데이터 지도 중에서 현재 질문에 대한 답이 있는
'정확한 GPS 좌표'를 찾아내어 관련성 높은 정보를 우선순위대로 가져오는 과정

 

 

월드 모델(World Models): 행동의 결과를 예측하는 시뮬레이터

월드 모델은 나의 행동이 세상에 어떤 변화를 일으킬지 인과관계를 예측하는 능력이다.

물리적 월드 모델은 로봇이 물체를 떨어뜨리면 아래로 떨어진다는 '중력'을 이해하는 것이다.
다만, 현재의 AI는 지구의 데이터만 학습했기에 다른 행성에서의 중력은 틀리게 예측할 수 있다는 한계가 있다.

 

완벽한 월드 모델을 만드는 것은 매우 어려운 수준

빈틈 메우기: AI의 모델이 불완전할 때 인간이 부족한 정보(데이터)를 제공
피드백 루프의 완성: 인간의 개입 데이터가 다시 AI에게 입력되면서, 연구계의 난제였던 지속적 학습을 실무적으로 해결하는 가교 역할 수행

 

 

추론 및 계획(Reasoning & Planning): 단계별로 문제를 해결하는 힘

AI의 추론은 단순히 답을 내놓는 것이 아니라, 목표를 위해 문제를 쪼개고 순서를 정하는 계층적 계획의 과정이다.

학습용 비유: 여행 계획 짜기

AI가 여행을 계획할 때, 단순히 단어를 나열하는 것이 아니라 거시적 단계와 미시적 단계

1. 거시적 계획 (High-level): "어느 계절에, 어느 나라로 갈 것인가?"라는 큰 틀의 결정
2. 미시적 실행 (Low-level): 결정된 장소에 맞춰 "비행기를 예약하고 숙소를 잡는" 구체적 단계
3. 유연한 수정 (Back-and-forth): 숙소가 매진되었다면 다시 거시적 단계로 돌아가 "날짜를 바꿀지, 장소를 바꿀지" 전략 수정

현재 AI는 한 단계의 구체적 계획은 잘하지만, 이 단계를 오가는 능력은 여전히 도전 과제

 

PS-

이제는 AI는 세상 밖으로 나오려고 준비를 하고 있다.

최근에 가상 공간 밖으로 나오기 위해서 물리모델을 가상으로 학습하는 서비스 들이 있다.
예를 들어, 테슬러는 실제 주행을 통해 데이터를 학습했지만, waymo는 게임 가상 공간을 통해서 기초적인 정보를 학습했다.

The Waymo World Model: A New Frontier For Autonomous Driving Simulation

 

더불어, 여전히 LLMs은 대단한 능력을 보여주고 있지만 한계가 있다는 것을 보여진다.

다만 세상밖으로 나오는 순간 또 다른 놀나옴을 줄 것 같다.