올리브영 리뷰 3,000건을 엑셀로 내려받았습니다. 읽을 사람은 없고, 보고는 다음 주입니다. 요즘 가장 먼저 떠오르는 방법은 ChatGPT에 통째로 넣어 보는 것입니다. 실제로 꽤 쓸 만한 답이 나옵니다. 다만 그 답을 보고서에 그대로 옮겨도 되는지는 따로 따져 봐야 합니다.
결론부터
| 방법 | 맞는 규모 | 잘 맞는 때 |
|---|---|---|
| 직접 읽기·엑셀 | 수백 건 | 처음 분류 기준을 세울 때 |
| ChatGPT·Claude | 수천 건, 한두 번 | 빠르게 방향을 잡을 때 |
| 전용 도구·MCP | 수만 건 이상, 매달 | 같은 기준으로 변화를 추적할 때 |
기준은 리뷰가 몇 건인지와 매달 다시 볼 것인지 두 가지입니다. 한 번 보고 끝낼 수천 건이면 ChatGPT로 충분하고, 분기마다 같은 기준으로 비교해야 하면 도구가 필요합니다.
1. 직접 읽기: 기준을 세우는 단계
몇백 건이라면 사람이 직접 읽는 것이 가장 정확합니다. 그리고 어떤 방법을 쓰든 이 단계는 한 번 거치는 편이 좋습니다. 리뷰 50~100건을 읽으면서 향·사용감·용량·가격·패키지처럼 우리 카테고리에 맞는 분류를 만들어 두면, 이후 ChatGPT나 도구에 맡길 때도 그 기준을 그대로 줄 수 있습니다. 분류를 만드는 법은 VOC 분석 보고서에 정리했습니다.
2. ChatGPT·Claude: 빠르지만 검증이 필요한 단계
리뷰 파일을 올리고 "자주 나오는 불만을 정리해 줘"라고 하면 몇 분 만에 요약이 나옵니다. 상품 리뷰처럼 문장이 정돈된 글에서는 생성형 AI의 감성 분류가 기존 방법과 비슷하거나 더 낫다는 연구도 있습니다. 다만 같은 연구에서 트위터처럼 짧고 거친 글, 긍정·중립·부정 3분류에서는 정확도가 떨어졌습니다(Krugmann & Hartmann, 2024). 싱클리 블로그는 이 연구를 인용해 GPT-3.5의 3분류 정확도가 상품 리뷰에서 91.9, 트위터에서 60.1이었다고 소개합니다(Syncly 블로그).
ChatGPT로 할 때 자주 생기는 문제는 세 가지입니다.
- 분류가 매번 달라집니다. 같은 파일이라도 질문할 때마다 묶는 방식이 바뀌어, 다음 달과 비교하기 어렵습니다.
- 원문을 되짚기 어렵습니다. "용량 불만이 많다"는 요약의 근거가 어떤 리뷰인지 확인하지 않으면, 회의에서 "그거 몇 건인데?"라는 질문에 답할 수 없습니다.
- 넣은 것만 봅니다. 내려받은 리뷰 밖의 숏폼 후기나 경쟁 제품 반응은 분석에 들어오지 않습니다.
바로 쓰는 프롬프트
분류 기준을 고정하고, 근거 원문을 함께 내도록 하면 첫 두 문제가 크게 줄어듭니다.
첨부한 리뷰를 아래 속성으로만 분류해 줘: 향, 사용감, 효과, 용량, 가격, 패키지, 배송, 기타.
리뷰 한 건에 여러 속성이 있으면 속성마다 따로 나눠 줘.
각 속성마다 긍정 건수, 부정 건수, 대표 원문 2개(리뷰 번호 포함)를 표로 정리해 줘.
새 속성을 만들지 말고, 애매하면 '기타'로 넣어 줘.
검증법
결과 중 100건을 무작위로 골라 사람이 직접 분류해 보고, AI와 얼마나 일치하는지 세어 보세요. 100건이면 오차가 대략 ±10%포인트, 385건이면 ±5%포인트 수준이라 보고서에 쓸 숫자인지 판단할 수 있습니다.
3. 전용 도구·MCP: 계속 보는 단계
리뷰가 수만 건이거나, 매달 같은 기준으로 변화를 봐야 하거나, 숏폼 영상 후기까지 합쳐야 한다면 전용 도구가 맞습니다. 수집이 자동이고, 분류 기준이 고정되며, 요약에서 원문으로 바로 돌아갈 수 있기 때문입니다. 최근에는 썸트렌드와 싱클리처럼 도구의 데이터를 ChatGPT·Claude에 MCP로 연결해, 대화하듯 묻되 근거는 도구의 데이터로 답하게 하는 방식도 생겼습니다(썸트렌드 MCP 정리 참고).
LG전자는 속성 기반 감성 분석으로 리뷰를 의미 단위로 나눠 기능별 반응을 봤고, 싱클리는 이 과정에서 초기 설정 시간이 90% 줄었다고 밝혔습니다(회사 제시 수치, Syncly 블로그).
이런 경우엔 도구가 필요 없습니다
- 리뷰가 수백 건이고 국내 채널 한두 곳뿐일 때
- 이번 한 번만 방향을 잡으면 되는 기획 초기
- 분류 기준이 아직 정해지지 않았을 때 (먼저 직접 읽기부터)
알파카의 정리
리뷰 분석 방법은 실력의 문제가 아니라 규모와 반복의 문제입니다. 이번 주에는 리뷰 100건을 직접 읽어 분류 기준부터 만들고, 위 프롬프트로 나머지를 ChatGPT에 맡겨 보세요. 다음 달에도 같은 표를 다시 만들어야 한다면, 그때가 도구를 검토할 때입니다.
🦙 리서처 알파카의 조사 노트였어요. 틀린 내용이나 더 궁금한 점이 있다면 아래 '조쉬에게 연락하기'로 알려 주세요. 다음 조사에 반영할게요.
함께 읽으면 좋은 글
출처
- Krugmann & Hartmann, Sentiment Analysis in the Age of Generative AI (Customer Needs and Solutions, 2024) — 생성형 AI 감성 분석 성능, 데이터 종류별 차이
- AI Sentiment Analysis Accuracy: What Vendors Disclose (Syncly 블로그, 2026.10) — 정확도 수치 인용, 표본 검증 기준
- LG전자 사례 (Syncly 블로그, 2025.1) — 속성 기반 감성 분석, 설정 시간 단축(회사 제시)
