[ AI ] Context Engineering vs Prompt Engineering

콘텍스트 엔지니어링의 등장

콘텍스트 엔지니어링은 프롬프트 엔지니어링의 진화에 바탕을 둔다.
이는 LLM이 단순히 프롬프트뿐만 아니라 시스템 지침, 규칙, 업로드된 문서 등 다양한 정보를 고려해야하는 시점이다.

 

wiki

 

콘텍스트 엔지니링의 2가지 특징

결정론적 콘텍스트

- 사용자가 직접적으로 통제할 수 있는 정적인 정보, 지식 기반 문서, 데이터  등을 의미

현재 대부분의 대화와 연구는 콘텍스트 창을 어떻게 더 효과적으로 축소하고 효율적으로 사용할 수 있는가에 추점을 맞추고 있다.
이는 클라우드 기반 모델과 통신에서 토큰 소모를 의미한다.

허나 한계론,

웹 접근이나 외부 도구가 없는 매우 구조화된 호출에는 효율적,
But LLM이 외부 데이터 소스에 더 많이 연결되면서 그 중요성이 줄어듬.

 

확률적 콘텍스트

- LLM이 웹 접근, 외부 도구 등을 통해 획득하는 비결정론적이고 예측하기 어려운 콘텍스트를 의미

LLM이 더 똑똑해지기 위해 더 넓은 데이터 소스에 연결하도록 유도하면서,
사람들을 웹 에 접근할 수 있는 LLM을 더 선호하게 됨.

이는 사용자 정의 문서나 프롬프트는 모델이 처리하는 전체 토큰 수에 비하면 측정할 수 없을 정도로 작은 비율이 됨.

하여 LLM이 사용자의 요청에 강화 학습되고 훈련되어 초점을 유지하므로,
모델의 확률적 콘텍스트 선택을 형성하는 책임은 프롬프트 자체로 전가(轉嫁) 됨.

해결해야 할 과제는

통제할 수 없는 이 확률적 콘텍스트를 어떻게 형성하고,
AI가 우리가 의미하는 바를 해결할 수 있는 환경을 어떻게 조성할 것인가가 중요.

단순 비용절감이 아니라 더 정확하고 유용하며 일관된 답변을 얻는 방법에 초점이 이동.

 

 

주요 변화점

1. 규모의 역전: Claude Opus가 한 주제를 연구할 때 400-600개 웹사이트를 방문한다면, 원래 사용자의 문서와 프롬프트는 전체 처리된 토큰의 무시할 만한 비중이 된다.
2. 통제권의 이동: AI가 어떤 정보를 수집할지 결정하는 책임이 프롬프트 자체로 이동했다. 프롬프트가 AI의 정보 수집 방향을 "형성"하는 역할을 하게 된다.
3. 프롬프팅의 확률화: 프롬프트 자체가 더 이상 결정론적이지 않고 확률적이 된다. 같은 프롬프트라도 AI가 접근하는 웹 정보에 따라 다른 결과를 낳을 수 있다.

 

 

특히 규모의 역전에 의미

1. 어텐션 메커니즘 

• 웹 접근 전: 1,000토큰에 대해 집중적 어텐션
• 웹 접근 후: 1,000토큰(원래) + 500,000토큰(웹 데이터)에 어텐션 분산

이는 수학적으로 원래 프롬프트의 영향력이 1/500로 줄어드는 것과 같다.

Context Window (예: 200K 토큰)
[원래 프롬프트: 1K] [웹 데이터: 199K]
        0.5%                     99.5%

 

2. 정보 계층화

LLM은 다음 순서로 정보를 우선시하는 경향이 있다:

1. 구체적이고 상세한 정보 (웹에서 가져온 것들)
2. 최신 정보 (실시간 웹 데이터)
3. 일반적 지시사항 (원래 프롬프트)

 

 

주의할 사항

1. 지속적인 프롬프트 관리

2. 정보소스 품질과 신뢰성 확인 필요

3. 보안 관리

4. 예전 정밀도와 재현율(precision과 recall) 평가는 덜 중요