[ Article / AI ] AI는 어떻게 우리의 질문에 답할까?

unsplash

 

채팅형 AI는 어떻게 우리의 질문에 답할까?

그들은 진짜 지능을 가지고 있을까? 라는 질문에 답을 얻을 수 있을거 같은 또 하나의 증거 글이다.

 

현재 그들은 단지 통계에 불과한다. 다만 데이터가 너무 많으니 값이 잘 수렴하는 것이다.

 

의미의 관계는 점수에 의한 구분

 “Animal, vegetable, object — the features can be anything that people think are useful for distinguishing concepts.” Then assign a numerical value to each feature in the list. 

The word “dog,” for example, would score high on “furry” but low on “metallic.” The result will embed each word’s semantic associations, and its relationship to other words, into a unique string of numbers.

강아지라는 개념에서 단어의 상관관계를 점수로 설계하는 것으로 예상된다. 강아지는 털이 복숭하다는 의미가 금속적인 보다 더 높은 점수를 받는다.

 

 

LLM은 수학 통계지, 지능이 아니다.

1. 사칙연산 + -

This phenomenon can make embeddings seem mysterious, even magical: a neural network somehow transmuting raw numbers into linguistic meaning, “like spinning straw into gold,” Pavlick said.

Famous examples (opens a new tab) of “word arithmetic” — “king” minus “man” plus “woman” roughly equals “queen” — have only enhanced the aura around embeddings. They seem to act as a rich, flexible repository of what an LLM “knows.”

왕에서 남성을 빼고 여성을 넣으면 여왕이 된다는 뜻에서 알 수 있듯이, 지능이 아니라 사칙연산의 작용이다.

 

2. 여러 가지 기능을 (통계)조합, 마치 지도처럼

this supposed knowledge isn’t anything like what we’d find in a dictionary. Instead, it’s more like a map. If you imagine every embedding as a set of coordinates on a high-dimensional map shared by other embeddings, you’ll see certain patterns pop up. Certain words will cluster together, like suburbs hugging a big city. And again, “dog” and “cat” will have more similar coordinates than “dog” and “chair.”

In the sequence “I hired a pet sitter to feed my ____,” the next word might be “dog” or “cat,” but it’s probably not “chair.” You don’t need a dictionary to determine this, just statistics.

Embeddings — contextual coordinates, based on those statistics — are how an LLM can find a good starting point for making its next-word predictions, without having to encode meaning.

LLM의 임베팅 기술을 유추해보면,

현재 LLM은 위의 강아지와 고양이 예시처럼, 유사성이 있는 단어를 가지고 문장을 만들 때 구분이 어려울 거 같다. 예를 보면,

'나는 ______ 먹이를 주기 위해 애완동물 관리사(?)'를 고용했다'

라는 문장이 있다. 여기서 고양이든, 강아지든 어떤 것도 맞기 때문에 맥락적 의미 풀이를 하지 않는다. 그래야 아주 좋은 출발 점을 찾을 수 있기 떄문이다. 그러니, LLM의 한계는 의미를 문자 혹은 질문을 이해하는 것이 아니라 통계로 문장을 이해하고 있다고 것이 중요하다. 현재까지는.

 

 

요약해보면,

LLM은 현재 많은 성장을 이뤘다. 그 배경에는 기술을 발달로 더 많은 단어를 기반으로 수학 통계가 가능하기 때문이다. 위에서 말한 강아지와 연관성이 높은 단어는 털이 복실한이지 메탈이 아니다.

더불어, 마지막에 언급한 애완동물 관리사를 고용할 때, 강아지일 수도 있고 고양이 일 수 있다. 그렇기 때문에 더 많은 문장이 들어 갈 수록 내가 원하는 답에 가까워질 확률이 올라간다.

결국, 현재 우리가 쓰고 있는 채팅형 AI는 확률 통계를 기반으로 만들어진 결과값이다. 따라서, 그 값 또한 내가 원하는 결과 값이 나오는 확률일 뿐이다. 마치 랜덤박스와 같다고 생각한다.

 

 

 

출처

https://www.quantamagazine.org/how-embeddings-encode-what-words-mean-sort-of-20240918/