최근 몇 년 동안 인공지능(AI) 분야는 엄청난 발전을 이루었으며, 그중에서도 생성형 AI 모델은 텍스트, 이미지 생성 능력으로 큰 주목을 받고 있습니다. 하지만 이러한 모델들은 외부 세계와 상호작용하는 데 한계가 있었고, 이를 극복하기 위해 에이전트(Agent)라는 개념이 등장했습니다.
본 블로그 글에서는 Google에서 발행한 Agents Whitepapers를 바탕으로 에이전트(Agent)의 핵심 구성 요소, 작동 방식, 다양한 도구, 실제 적용 사례까지 자세히 살펴보겠습니다.

1. 에이전트(Agent)란 무엇인가?

가장 기본적인 형태의 생성형 AI 에이전트(Agent)는 주어진 목표를 달성하기 위해 주변 환경을 관찰하고, 도구를 활용하여 행동하는 애플리케이션입니다.
에이전트(Agent)는 자율적으로 작동하며, 인간의 개입 없이도 목표를 향해 나아갈 수 있습니다. 특히, 인간의 명시적인 지시 없이도 스스로 판단하고 행동할 수 있다는 점이 강력한 특징입니다.

1.1. 에이전트(Agent)의 핵심 구성 요소

에이전트(Agent)의 동작을 구동하는 핵심 구성 요소는 다음과 같습니다:

1.모델 (Model)

모델(Model)은 에이전트(Agent)의 의사 결정을 담당하는 핵심 요소입니다. 텍스트, 이미지 생성 등 다양한 작업을 수행할 수 있는 대규모 언어 모델(LLM)을 활용합니다. 사용자 지침 기반 추론 및 논리 프레임워크(예: ReAct, Chain-of-Thought, Tree-of-Thoughts)를 따를 수 있습니다.

2.도구 (Tools)

에이전트(Agent)가 외부 데이터 및 서비스와 상호작용할 수 있도록 지원하는 요소입니다. API 호출, 데이터베이스 검색, 실시간 정보 접근 등 다양한 형태로 존재하며, 에이전트(Agent)가 실제 세계와 연결되는 핵심 통로 역할을 합니다.

3.오케스트레이션 레이어 (Orchestration Layer)

에이전트(Agent)가 정보를 수집하고, 내부 추론을 수행하며, 다음 행동 또는 결정을 내리는 과정을 관리하는 핵심 요소입니다. 에이전트(Agent)와 수행 작업에 따라 복잡성이 다양하며, 간단한 계산에서부터 복잡한 머신러닝 알고리즘까지 포함할 수 있습니다.

2.에이전트(Agent)와 모델(Model)의 차이점

에이전트(Agent)와 모델(Model)은 언뜻 비슷해 보일 수 있지만, 몇 가지 중요한 차이점이 있습니다.

구분	모델(Model)	에이전트(Agent)
지식 범위	학습 데이터에 제한	도구를 통해 외부 시스템 연결로 확장
추론 방식	사용자 쿼리 기반 단일 추론/예측, 세션 히스토리나 컨텍스트 관리 없음	세션 히스토리 관리, 다중 턴 추론/예측, 오케스트레이션 레이어에서 사용자 쿼리 및 의사 결정 기반
도구	네이티브 도구 구현 없음	네이티브 도구 구현
로직	간단한 질문/ 프롬프트 또는 CoT, ReAct 등의 추론 프레임워크 사용	CoT, ReAct 등 추론 프레임워크를 사용한 네이티브 인지 구조

3.에이전트(Agent)의 인지 구조: 작동 방식

에이전트(Agent)는 마치 요리사가 복잡한 요리를 준비하는 과정과 유사하게 작동합니다.
요리사는 에이전트(Agent) 시스템 자체를 비유합니다. 주어진 목표(요리)를 달성하기 위해 정보를 수집하고, 계획을 세우고, 행동을 실행하는 전체적인 과정을 담당합니다.

1단계: 정보 수집

요리사(에이전트 시스템)는 고객 주문과 식재료 정보를 수집하고, 에이전트(Agent)는 사용자 쿼리를 입력받거나 외부 데이터를 조회합니다.

2단계: 내부 추론

요리사(에이전트 시스템)는 수집된 정보를 바탕으로 어떤 요리를 만들지 결정하고, 에이전트(Agent)는 모델을 활용하여 다음 행동을 결정합니다.

3단계: 행동 실행

요리사(에이전트 시스템)는 재료를 손질하고 요리를 만들며, 에이전트(Agent)는 도구를 사용하여 외부 시스템과 상호작용합니다.

4단계: 피드백 및 조정

요리사(에이전트 시스템)가 요리 중간에 맛을 보고, 부족한 부분을 추가하거나 요리 순서를 변경하는 행위는 에이전트(Agent)의 오케스트레이션 레이어에서 이전 결과에 기반하여 다음 행동을 조정하는 것입니다.

에이전트(Agent)는 이러한 과정을 반복하며 목표를 달성합니다. 특히, 에이전트(Agent)는 오케스트레이션 레이어에서 메모리, 상태, 추론, 계획을 관리하며, 프롬프트 엔지니어링 기술을 활용하여 더욱 효율적으로 작업을 수행합니다.

3.1. 대표적인 추론 프레임워크

1.ReAct

모델이 추론과 행동을 번갈아 수행하도록 하는 프롬프트 엔지니어링 프레임워크입니다. 복잡한 문제 해결 능력을 향상시키고 인간과의 상호작용을 개선합니다.

2.Chain-of-Thought (CoT)

중간 단계를 거쳐 추론 능력을 향상시키는 프롬프트 엔지니어링 프레임워크입니다. 다양한 하위 기술(예: self-consistency, active-prompt, multimodal CoT)이 있으며, 응용 분야에 따라 장단점이 있습니다.

3.Tree-of-Thoughts (ToT)

탐색이나 전략적 예측에 적합한 프롬프트 엔지니어링 프레임워크입니다. 다양한 사고 흐름을 탐색하여 문제 해결 능력을 향상시킵니다.

4.에이전트(Agent) 도구: 외부 세계와의 연결

언어 모델은 정보 처리 능력은 뛰어나지만, 실제 세계를 인지하고 영향을 미치는 능력은 부족합니다. 도구는 언어 모델과 외부 시스템/데이터 사이의 연결 고리 역할을 하며, 다음과 같은 다양한 형태로 제공됩니다.

1.확장 (Extensions)

API와 에이전트(Agent)를 연결하는 표준화된 인터페이스를 제공합니다. 에이전트(Agent)가 API를 직접 호출하여 외부 정보를 검색하거나 시스템을 제어할 수 있습니다.

2. 함수 (Functions)

소프트웨어 엔지니어링의 함수와 유사하게 특정 작업을 수행하는 코드 모듈입니다. 모델이 함수를 호출하여 필요한 정보를 얻거나 작업을 수행할 수 있습니다. 함수는 클라이언트 측에서 실행되며, 확장과 달리 API 호출을 직접 하지 않습니다.

3. 데이터 저장소 (Data Stores)

에이전트(Agent)가 실시간 데이터에 접근할 수 있도록 지원합니다. 벡터 데이터베이스를 활용하여 고차원 벡터 형태로 데이터를 저장하고 검색합니다.

4.1. 확장 (Extensions)

외부 API와 에이전트(Agent)는 어떻게 상호작용하는가?

확장(Extensions) 기능을 에이전트(Agent)를 외부 API에 연결 이미지

확장(Extensions) 기능을 에이전트(Agent)를 외부 API에 연결

에이전트(Agent), 확장(Extensions), API간 1대다 관계도

에이전트(Agent), 확장(Extensions), API간 1대다 관계도

확장(Extensions)은 에이전트(Agent)가 외부 API와 직접 상호 작용할 수 있도록 해주는 도구입니다.
에이전트(Agent)는 확장(Extensions)을 통해 실시간 정보를 얻고, 시스템을 제어하며, 복잡한 작업을 자동화할 수 있습니다.
다음과 같이 확장 기능을 활용할 수 있습니다.

1.구현 방법

API 정의
- 사용할 외부 API의 엔드포인트, 매개변수, 응답 형식을 정의합니다. 예를 들어, Google Flights API의 get_flights 엔드포인트를 정의할 수 있습니다.
확장 구현
- 에이전트가 API를 호출할 수 있도록 확장 코드를 구현합니다. 이 코드는 API 호출에 필요한 인증, 매개변수 설정, 응답 처리 등을 담당합니다.
예시 제공
- 에이전트가 확장을 언제 어떻게 사용해야 할지 알 수 있도록, 명확한 예시를 제공합니다. 예를 들어 “사용자가 항공편을 검색할 때 get_flights API를 호출해야 한다”와 같은 예시를 제공할 수 있습니다.

2.실제 사용 사례

항공편 예약 에이전트
- 사용자가 “서울에서 뉴욕으로 가는 항공편을 찾아줘”라고 요청하면, 에이전트(Agent)는 Google Flights API를 호출하여 실시간 항공편 정보를 검색하고 사용자에게 제공합니다.
날씨 정보 에이전트
- 사용자가 “오늘 서울 날씨는 어때?”라고 물으면, 에이전트(Agent)는 날씨 API를 호출하여 실시간 날씨 정보를 가져와 사용자에게 알려줍니다.
스마트 홈 제어 에이전트
- 사용자가 “거실 불을 켜줘”라고 말하면, 에이전트(Agent)는 스마트 홈 제어 API를 호출하여 거실 불을 켜줍니다.
코드 인터프리터 확장
- 사용자의 자연어 설명을 바탕으로 Python 코드를 생성하고 실행하여 복잡한 계산이나 데이터 처리를 수행합니다.

3. 개발자 활용

복잡한 작업 자동화
- 확장을 통해 복잡한 작업들을 자동화할 수 있으며, 에이전트(Agent)의 기능 확장을 통해 다양한 시스템과의 연결 및 자동화 시나리오를 구축할 수 있습니다.
실시간 데이터 접근
- 외부 API를 통해 실시간 데이터에 접근하여 더욱 정확하고 유용한 정보를 제공할 수 있으며, 사용자에게 최신 정보를 바탕으로 한 답변 및 실행 결과를 제공합니다.
다양한 서비스 연동
- 다양한 API를 연동하여 에이전트(Agent)의 활용 범위를 확장할 수 있으며, 사용자에게 더 폭넓고 통합적인 서비스를 제공할 수 있습니다.
재사용성 증대
- 다양한 에이전트(Agent)에서 확장을 재사용하여 개발 효율성을 향상시킬 수 있습니다

4.2. 함수 (Functions)

확장(Extensions) 및 함수(Functions) 호출을 위한 클라이언트(Client)와 에이전트(Agent) 측 제어 구분

함수 호출의 수명 주기를 보여주는 시퀀스 다이어그램

함수(Functions)는 모델(Model)이 특정 작업을 수행할 수 있도록 하는 코드 모듈입니다.
함수(Functions)는 확장(Extension)과 달리 클라이언트 측에서 실행되며, API 호출을 직접 하지 않습니다.
확장(Extension)에 비해 더 세밀한 제어가 가능하며, 다음과 같은 상황에서 유용하게 사용됩니다.

API 호출이 에이전트 아키텍처 흐름 외부에 필요한 경우
보안/인증 제약으로 에이전트(Agent)가 직접 API를 호출할 수 없는 경우
API 호출 타이밍 또는 순서 제어가 필요한 경우
API 응답에 추가적인 데이터 변환 로직이 필요한 경우

1.구현 방법

함수 정의
- 수행하고자 하는 작업을 명확히 정의합니다. 예를 들어, 사용자의 검색어에 따라 결과를 필터링하는 함수를 정의할 수 있습니다.
함수 구현
- Python, JavaScript 등 원하는 프로그래밍 언어로 함수를 구현합니다.
함수 스펙 정의
- 함수 이름, 매개변수, 반환값 등을 정의하여 에이전트가 함수를 언제 어떻게 사용해야 할지 알 수 있도록 합니다.
도구화
- 정의된 함수를 에이전트(Agent)가 사용할 수 있도록 도구(Tool)로 등록합니다.

2.실제 사용 사례

데이터 필터링 함수
- 사용자가 “서울에 있는 맛집만 보여줘”라고 요청하면, 에이전트(Agent)는 데이터베이스에서 맛집 정보를 가져온 후, 서울에 해당하는 정보만 필터링하는 함수를 호출합니다.
데이터 변환 함수
- API로부터 받은 데이터를 사용하기 쉽도록 특정 형식으로 변환하는 함수를 사용합니다. 예를 들어, 날짜 형식을 “YYYY-MM-DD”에서 “MM/DD/YYYY”로 변환하는 함수를 사용할 수 있습니다.
JSON 생성 함수
- 모델이 생성한 텍스트 정보를 JSON 형식으로 변환하는 함수를 사용합니다.
커스텀 로직 구현 함수
- 특정 비즈니스 로직을 구현하거나 외부 시스템과의 추가적인 상호작용 로직을 함수 내부에 구현합니다.

3.개발자 활용

세밀한 제어
- 함수를 통해 데이터 흐름 및 시스템 실행을 더욱 세밀하게 제어할 수 있으며, 사용자 경험 및 데이터 보안을 향상시킬 수 있습니다.
클라이언트 측 실행
- API 호출을 클라이언트 측에서 처리하여 에이전트(Agent)의 복잡성을 줄일 수 있으며, 에이전트(Agent) 로직과 외부 서비스 로직을 분리하여 모듈성을 높입니다.
유연성 증대
- 다양한 프로그래밍 언어를 사용하여 유연하게 함수를 구현할 수 있으며, 기존 코드 또는 라이브러리를 활용하여 개발 시간을 단축할 수 있습니다.
보안 강화
- API 키나 개인 정보를 에이전트(Agent) 코드에 직접 노출시키지 않고, 안전하게 클라이언트 측에서 관리할 수 있습니다.
배포 부담 감소
- 에이전트(Agent) 개발 초기 단계에서 API 스텁 함수(stub functions)를 사용하여 API 연동 없이 개발을 진행하여 배포 부담을 줄일 수 있습니다.

4.3. 데이터 저장소 (Data Stores)

구조화된 데이터와 구조화되지 않은 데이터와 에이전트(Agent)는 어떻게 상호작용할 수 있는가?에 대한 이미지

구조화된 데이터와 구조화되지 않은 데이터와 에이전트(Agent)는 어떻게 상호작용할 수 있는가?

데이터 저장소(Data Stores)는 에이전트(Agent)를 다양한 유형의 새로운 실시간 데이터 소스(New-Real-time Data Source)에 연결합니다.

에이전트(Agent)와 데이터 저장소(Data Stores) 간의 1대다 관계도

에이전트(Agent)와 데이터 저장소(Data Stores) 간의 1대다 관계도

데이터 저장소는 모델(Model)이 학습 데이터 외에 추가적인 정보(실시간 데이터 또는 대량의 데이터)에 접근할 수 있도록 해줍니다.
데이터 저장소를 통해 에이전트는 학습 데이터 외에 추가적인 정보를 활용하여 더욱 정확하고 유용한 답변을 제공할 수 있습니다. 또한, 문서, 웹사이트, 구조화된 데이터 등 다양한 형태의 데이터를 저장하고 관리할 수 있습니다.
특히, 검색 증강 생성(RAG) 애플리케이션에서 핵심적인 역할을 하며, 벡터 데이터베이스를 사용하여 사용자 쿼리와 관련 있는 정보를 빠르게 검색합니다.

1.구현 방법

데이터 수집
- 에이전트가 사용할 데이터를 수집합니다. 문서, 웹사이트, 구조화된 데이터 등 다양한 형태의 데이터를 사용할 수 있습니다.
데이터 인덱싱
- 수집된 데이터를 벡터 데이터베이스에 저장합니다. 데이터는 벡터 임베딩(vector embedding) 형태로 변환되어 저장되며, 이를 통해 빠른 검색이 가능합니다.
검색 기능 구현
- 벡터 데이터베이스에서 사용자 쿼리와 관련된 정보를 검색하는 기능을 구현합니다.

RAG 기반 애플리케이션에서 사용자 요청 및 에이전트 응답의 수명 주기 그래프

RAG 기반 애플리케이션에서 사용자 요청 및 에이전트 응답의 수명 주기

ReAct 추론/계획을 갖춘 RAG 기반 애플리케이션 샘플

2.실제 사용 사례

검색 증강 생성 (RAG) 에이전트
- 사용자의 질문에 대해 관련 문서를 검색하여 답변의 정확도를 높입니다.
지식 기반 에이전트
- 기업의 내부 문서나 지식 베이스를 데이터 저장소에 저장하여, 에이전트가 필요한 정보를 빠르게 검색할 수 있도록 합니다.
제품 추천 에이전트
- 제품 데이터베이스를 데이터 저장소에 저장하여, 사용자의 선호도에 맞는 제품을 추천합니다.
사용자 맞춤형 정보 제공 에이전트
- 사용자의 이전 활동이나 프로필 정보를 데이터 저장소에 저장하여, 개인화된 정보를 제공합니다.

3.개발자 활용

실시간 정보 활용
- 데이터 저장소를 통해 실시간 데이터를 활용하여 에이전트의 답변을 업데이트할 수 있으며, 사용자에게 최신 정보를 제공합니다.
지식 확장
- 학습 데이터 외에 추가적인 데이터에 접근하여 에이전트의 지식 범위를 확장할 수 있으며, 더욱 전문적이고 정확한 답변을 제공합니다.
대규모 데이터 처리
- 대규모 데이터를 효율적으로 처리할 수 있도록 하며, 다양한 형태의 데이터를 효과적으로 활용할 수 있도록 지원합니다.
검색 성능 향상
- 벡터 데이터베이스를 사용하여 검색 성능을 향상시킬 수 있으며, 사용자에게 빠르고 정확한 정보를 제공합니다.

5. 모델 성능 향상: 타겟 학습

모델을 효과적으로 사용하려면 적절한 도구를 선택하는 능력이 중요합니다. 특히, 실전 환경에서는 학습 데이터 외의 지식이 필요한 경우가 많습니다. 이러한 상황에서 모델의 성능을 향상시키기 위해 다음과 같은 타겟 학습 방법이 사용됩니다.

1.인 컨텍스트 학습 (In-Context Learning)

프롬프트, 도구, 몇 가지 예시를 통해 모델이 실시간으로 학습하도록 하는 방법입니다. ReAct 프레임워크가 대표적인 예시입니다.

2.검색 기반 인 컨텍스트 학습 (Retrieval-based In-Context Learning)

외부 메모리에서 관련 정보를 검색하여 모델 프롬프트를 채우는 방법입니다.

3.미세 조정 기반 학습 (Fine-tuning based Learning)

특정 예시 데이터세트를 사용하여 모델을 사전 학습시키는 방법입니다. 특정 지식 영역에서 모델의 성능을 향상시키는 데 유용합니다.

마치며

본 블로그 글에서는 생성형 AI 에이전트의 핵심 구성 요소, 작동 방식, 다양한 도구, 그리고 실제 적용 사례까지 심층적으로 살펴보았습니다. 에이전트는 모델의 능력을 확장하고, 외부 세계와 상호작용하며, 복잡한 작업을 자동화할 수 있는 강력한 도구입니다. 앞으로 도구가 더욱 정교해지고 추론 능력이 향상됨에 따라 에이전트는 더욱 복잡한 문제를 해결하고 다양한 산업 분야에서 활용될 것으로 기대됩니다. 본 블로그 글이 생성형 AI 에이전트에 대한 이해를 높이는 데 도움이 되었기를 바랍니다.

참고자료