https://www.youtube.com/watch?v=vD0E3EUb8-8
<aside> 🔥 프롬프트 엔지니어링과 맥락 엔지니어링의 차이를 알아야 LLM의 행동을 설계할 수 있어요. 기억 관리와 도구 연결(RAG), 제약 설정은 맥락 유지와 정확도에 핵심이고, 예로 여행 예약을 통해 실무 적용과 한계를 보여드립니다.
</aside>
A1. 프롬프트 엔지니어링은 입력에 의존해 모델의 응답을 좌우합니다. 따라서 맥락 손실이나 최신 정보 반영의 한계가 있으며, 이를 보완하려면 **래그(RAG)**맥락 손실이나 최신 정보 반영의 한계가 있으며, 이를 보완하려면 래그(RAG) 같은 도구가 필요합니다. 예를 들어 정책 변경은 외부 소스 참조가 필요합니다.
A2. RAG는 외부 지식 소스에서 정보를 검색해 모델 응답에 반영합니다. 이를 통해 실시간 정보를 다룰 수 있지만, 검색 품질과 문맥 정합을 관리해야 합니다.
A3. 단기 메모리는 대화 맥락을 요약해 유지하고, 장기 메모리는 벡터 데이터베이스에 저장해 사용자 선호를 재활용합니다. 이 두 방식은 서로 보완적이며 필요 시 함께 작동합니다.
A4. 컨텍스트 엔지니어링의 핵심은 LLM의 용도와 도구 사용 흐름을 정의하는 인터페이스를 설계하는 일입니다. 출력 길이나 제약을 설정하고, 래그제약을 설정하고, 래그와 동적 콘텐츠의 비율을 조정해 예측 가능한 동작을 유지합니다.
현대의 많은 사람들이 이미 프롬프트 엔지니어링에 익숙하다고 가정하지만, 영상은 이를 더 넓은 맥락에서 설명합니다. 프롬프트 엔지니어링은 LLM에 입력되는 지시문을 설계하는 과정으로, 지시 신호와 예시를 포함합니다. 그러나 영상은 컨텍스트 엔지니어링이 단순한 입력 설계에 그치지 않고, 모델 추론 동안 모델이 보는 모든 것을 프로그래밍 방식으로 구성하는 더 폭넓은 분야임을 강조합니다. 즉, 문서, 메모리, 도구 사용까지 포함한 맥락 전체를 조합해 정확한 응답과 실행 결과를 이끌어내는 시스템 수준의 학문이라는 점이 핵심으로 제시됩니다. 영상은 그레이엄이라는 에이전트의 예시를 통해, 지시만으로는 실패할 수 있음을 보여주며, 구체적인 장소나 정책 같은 맥락 정보가 부족하면 일정 예약 같은 작업에서 오차가 생길 수 있다고 지적합니다. 또한, 컨텍스트 엔지니어링의 필요성은 단순한 규칙 적용을 넘어, 적절한 도구 선택, 데이터 소스 연결, 실시간 정보 조회를 가능케 하는 인터페이스 설계로 확장됩니다.
에이전트 AI의 핵심 구성 요소로는 메모리, 상태 관리, 그리고 래그(RAG) 기반 지식 접근이 있습니다. 먼저 메모리는 과거 대화를 기억하는 단기 기억과 과거 선호도나 정책 같은 정보를 장기간 보존하는 장기 기억으로 구분되며, 단기 기억은 긴 대화를 맥락에 맞게 요약해 잊히지 않도록 돕고, 장기 기억은 벡터 데이터베이스를 활용해 개인정보나 선호도 등을 필요할 때 재사용합니다. 상태 관리은 다단계 작업의 흐름이 중간에 맥락을 잃지 않도록 현재 상태를 추적하고 필요한 시점에 재활용될 수 있도록 조정합니다. 래그는 외부 지식 소스와의 연결고리를 만들어, 맥락 기반의 의미적 일치와 키워드 일치를 조합해 관련 정보를 효율적으로 검색하고, 반환하는 방식으로 최신 정보를 반영합니다.