[ AI/LLM] AI는 우리가 하는 말을 이해하고 답변하는 것일까?

AI의 답변은 거의 완벽에 가깝다. 
그렇다면 그들은 우리의 말을 이해하고 답변하는 것 일까?

결론 부터 말하면,
그들은 우리의 말을 이해하는 것인 아니라 수많은 데이터를 학습을 바탕으로 다음 단어가 올 확률로 계산해 답변할 뿐이다.

LLM의 결과물이 진실이나 실제 이해에 기반한 것이 아니라, 오직 '언어적 그럴듯함(linguistic plausibility)'에 근거한다는 점

 

출처:

Epistemological Fault Lines Between Human and Artificial Intelligence

 

 

이 논문은 인간과 LLM의 인식과 답변에 대한 논문이다.

우리가 알아서 할 사실은 우리 인간은 무엇인가를 인지(認知)할 때, 뭔가 경험하고 다양한 물리적 사실들이 반영된다.

반면, LLM 앞에도 말했듯이 데이터를 바탕으로 확률적 패턴을 완성할 뿐이지 그것에 대한 경험을 말하지 않는다.

비유하면,
LLM은 음식을 먹어보지 않고 음식에 대한 비평을 쓰는 칼럼리스트이다.

 

 

차이점

첫째, 시스템의 본질적 성격이 다릅니다. 

인간은 믿음을 형성하거나 세계 모델을 구축하는 인식적 주체(epistemic agents)인
반면, LLM은 확률적 패턴 완성 시스템(stochastic pattern-completion systems)입니다.
LLM은 세계를 이해하는 것이 아니라, 고차원적인 언어 전이 그래프 위를 걷는 것과 같이 형식적으로 묘사될 수 있습니다.

 

둘째, 일곱 가지 인식적 단층선(epistemic fault lines)에서 분기가 발생합니다.
소스는 인간과 AI 사이의 파이프라인에서 다음과 같은 결정적인 차이점을 식별합니다

- 접지(Grounding) 및 파싱(Parsing): 정보가 실제 세계와 연결되는 방식과 이를 해석하는 구조의 차이.
- 경험(Experience) 및 동기(Motivation): 주관적인 체험과 무언가를 수행하려는 내적 의도의 유무.
- 인과 추론(Causal reasoning): 현상의 원인과 결과를 파악하는 능력의 차이.
- 메타인지(Metacognition) 및 가치(Value): 자신의 사고 과정을 인지하고 윤리적/체계적 가치를 부여하는 능력의 유무.

 

셋째, 판단과 개연성의 차이입니다.

인간의 인지는 '판단의 수고'를 수반하는 인식적 평가를 수행하지만,
LLM은 언어적 개연성(linguistic plausibility)을 사용하여 지식의 느낌만을 생성합니다.
소스는 이러한 현상을 '에피스테미아(Epistemia)'라고 정의하며,
이는 언어적으로 그럴듯해 보이는 것이 실제적인 인지적 판단을 대체하는 구조적 상황을 의미합니다.

 

 

추가 용어:

'에피스테미아'란 우리가 LLM과 상호작용하면서 발생하는 구조적인 상황을 지칭하는 용어입니다. 이 상태에서는 '언어적 그럴듯함'이 본래 우리가 해야 할 '인식적 평가(epistemic evaluation)'를 대체하게 됩니다. 즉, 내용이 얼마나 설득력 있고 자연스럽게 들리는지가 그것이 사실인지 아닌지를 판단하는 기준이 되어버리는 상황을 의미합니다.