프롬프트 엔지니어링: Claude 3.0으로 데이터분석하기

소개

프롬프트 엔지니어링은 대화형 AI 모델과 원활하게 상호작용하기 위한 기술을 의미합니다.
잘 설계된 프롬프트를 통해 AI의 능력을 최대한 활용할 수 있습니다.
본 글에서는 프롬프트 엔지니어링의 개념과 팁, 그리고 Claude 3.0을 활용한 체인 프롬프트로 데이터분석 하는 법을 소개하겠습니다.

원하는 결과를 얻는 확률을 높이는 프롬프트 작성 팁

• 명확하고 구체적인 지시사항 작성: 모델이 이해하기 쉬운 명확한 지시사항을 작성합니다.
• 예시와 컨텍스트 제공: 작업에 필요한 예시와 함께 문제의 컨텍스트를 제공합니다.
• 작업 분할 및 세부 단계 안내: 작은 단계로 나누고 세부적인 지침을 제공하여 모델이 효과적으로 작업을 수행할 수 있도록 합니다.
• 제약조건과 기대사항 명시: 작업 범위를 정의하고 기대되는 결과를 명시합니다.
• 개선을 위한 피드백 요청: 모델의 출력을 분석하고 개선 사항을 파악하기 위해 피드백을 요청합니다.

프롬프트 기법 소개

• 제로샷 프롬프팅(Zero-Shot Prompting): 작은 예시 세트로 모델을 학습시키고 새로운 작업을 수행하도록 유도합니다.
• Few-Shot 프롬프팅: 제한된 예시를 사용하여 모델이 새로운 작업을 수행하도록 유도합니다.
• 체인 오브 솔루션(Chain Of Solution) 프롬프팅: 여러 단계로 구성된 작업을 수행할 때 모델에게 각 단계의 결과물을 입력으로 제공하여 원하는 결과를 얻도록 유도합니다.
  • 복잡한 문제를 순차적인 하위 작업으로 분할하여 해결합니다.
  • 예: “파이썬 코드를 짜서 엑셀 파일에서 데이터를 읽고, 전처리한 다음 scikit-learn을 이용해 회귀 모델을 만들어주세요”
    1. 엑셀 파일에서 데이터 읽기
    2. 데이터 전처리
    3. 회귀 모델 생성
• 반복적 프롬프팅: 모델의 출력을 분석하고 필요한 경우 프롬프트를 수정하고 모델을 재학습시켜 원하는 결과를 얻을 때까지 반복합니다.
  • 예: “이 기술 문서 요약해주세요” → 프롬프트 피드백 → “그러면 [이 부분]을 [이렇게] 보완해서 다시 요약해주시겠어요?”

체인 프롬프트 (Chain Prompt)란?

• 복잡한 작업을 여러 단계로 나누어 AI 모델에게 제시하는 기법입니다.
• 이를 통해 AI가 각 하부 작업에 집중할 수 있어 전체 작업 수행이 용이해집니다.
• 사용자는 중간중간 피드백과 추가 지시를 줄 수 있습니다.

체인 프롬프트의 구성

• 1단계: 전체 작업에 대한 플로우 정리
• 2단계: 세부 단계들의 간단한 작업 내용 정리
• 3단계: 각 단계별로 AI가 수행해야 할 구체적인 지침

체인 프롬프트 활용 데이터 분석 하기

1. 전체 작업: 판매 데이터를 분석하여 인사이트 보고서 작성
2. 단계
   1. 데이터 로드 및 탐색
   2. 데이터 전처리 및 특징 엔지니어링
   3. 분석 모델링 및 성능 평가
   4. 시각화 및 주요 인사이트 정리
   5. 보고서 작성 (텍스트 및 시각화 포함)
3. 단계별 지침
   1. pandas를 이용해 엑셀 데이터를 로드하고 기본 통계량을 확인
   2. 결측치 처리, 이상치 제거, 범주형 변수 인코딩 등 전처리 작업
   3. 회귀, 의사결정트리 등 적절한 모델 선택 후 학습/평가
   4. 시각화 라이브러리(matplotlib, seaborn)로 주요 인사이트 시각화
   5. 분석 배경, 과정, 인사이트를 문서에 정리하여 보고서 작성
4. 사용 방법
   1. AI 모델(예: Claude)에게 ” > Chain:” 명령어로 체인 프롬프팅 모드 실행
   2. 위와 같이 체인 프롬프트 내용을 작성
   3. AI가 1단계 지침에 따라 작업 수행
   4. 그 외 피드백, 수정 지시 등을 지속적으로 제공하며 전체 작업 완수

Claude 3.0 체인 프롬프트 활용 데이터 분석 실습 예시

Claude3.0을 활용하여 체인 프롬프팅 (Chain Prompting) 방법으로 판매 데이터 분석 보고서를 작성하기

1단계: 데이터 로드 및 전처리

import pandas as pd

# 데이터 로드
data = pd.read_csv('sales_data.csv')

# 전처리
data = data.dropna(subset=['sales'])
data = data[data['sales'] > 0]

prompt = """
다음은 판매 데이터의 일부입니다:

<데이터 프레임 5행 제시>

1. 이 데이터셋의 특징을 설명해주세요.
2. 아웃라이어가 있는지 확인하고 제거해주세요.
3. 분석에 필요한 피처를 선택하거나 새 피처를 만들어주세요.

데이터 전처리 완료 후 "계속"이라고 말씀해주세요.
"""

response = get_response(prompt)
print(response)

2단계: 탐색적 데이터 분석

prompt = """
전처리가 잘 되었습니다. 계속해서 다음 작업을 수행해주세요:

1. 각 피처의 기술 통계량을 확인해주세요.
2. 범주형 변수와 수치형 변수를 시각화해서 분포를 확인해주세요.
3. 두 변수 간 상관관계도 확인해주세요.

EDA(탐색적 데이터 분석) 결과를 확인했으면 "계속"이라고 말씀해주세요.
"""

response = get_response(prompt)
print(response)

3단계: 모델링 및 평가

prompt = """
EDA 결과를 통해 데이터에 대한 이해가 높아졌습니다. 이제 모델링 단계입니다.

1. 타겟 변수는 'sales'입니다. 적절한 모델(회귀/분류)을 선택해주세요.
2. 학습 데이터와 테스트 데이터를 분리해주세요.
3. 모델을 학습시키고 테스트 데이터에 대한 성능을 평가해주세요.
4. 하이퍼파라미터 튜닝 등 모델 개선 방안이 있다면 제안해주세요.

모델링이 완료되면 "계속"이라고 말씀해주세요.
"""

response = get_response(prompt)
print(response)

4단계: 인사이트 도출 및 시각화

prompt = """
모델링 결과가 만족스럽습니다. 이제 최종 단계입니다.

1. 분석 결과에서 주요 인사이트를 3가지 이상 도출해주세요.
2. 인사이트를 잘 표현할 수 있는 시각화(그래프, 차트 등)를 만들어주세요.
3. 분석 과정 요약 및 의견을 포함한 최종 보고서 초안을 작성해주세요.

이상으로 데이터 분석이 완료되었습니다. 최종 보고서 초안을 확인하겠습니다.
"""

response = get_response(prompt)
print(response)

이렇게 체인 프롬프트 (Chain Prompt)를 활용하여 데이터 분석 전체 프로세스를 Claude 3.0 모델에게 단계적으로 안내할 수 있습니다.
각 단계에서 모델의 출력을 확인하고 필요한 피드백과 추가 지시를 줄 수 있습니다.
get_response 함수는 클라우드 API를 통해 프롬프트를 Claude 모델에 전달하고 응답을 받는 역할을 합니다.
실제 코드에서는 API 키 설정, 응답 parsing 등의 부가 코드가 필요할 것입니다.
프롬프트 엔지니어링 기법을 적절히 활용하면 AI 모델의 강력한 분석 능력을 발휘할 수 있으며, 복잡한 데이터 분석 작업도 체계적으로 수행할 수 있습니다.

• 레퍼런스 : Claude3.0 Docs