1. 왜 이 사례인가
Nippon Life는 일본 최대 생명보험사 가운데 하나로, 10년 넘게 일본의 기업지배구조 개혁에서 스튜어드십 활동을 이끌어 온 기관투자자입니다. 매년 약 700개 투자 대상 기업과 대화(engagement)를 나눕니다. 활동 규모가 커질수록 한 가지 질문이 남았습니다. 이 대화가 실제로 효과가 있는지, 어느 영역에서 진전이 있었는지를 어떻게 알 수 있느냐는 점이었습니다.
이 사례에서 생성형 AI는 업무를 대신 처리하는 도구가 아니라 측정 도구로 쓰였습니다. Nippon Life와 Oliver Wyman은 10년 넘게 쌓인 대화 기록 8,830건을 생성형 AI로 일관된 기준에 따라 평가하고, 투자 대상 기업에 전달한 요청 사항 10,000건 이상을 이후의 공시·재무 변화와 대조했습니다. 사람이 읽고 인상으로 판단하던 정성적 활동을 객관적인 증거로 바꾸려 한 시도입니다.
진행 과정도 구체적으로 공개되어 있습니다. 투자 철학을 먼저 학습시키고, 좋은 대화의 정의를 세운 뒤, 300건 파일럿으로 프롬프트를 조정했습니다. 영상 인터뷰에서 Nippon Life 주식투자부 부장은 생성형 AI가 발언을 실제보다 좋게 해석하는 경향을 어떻게 걸러 냈는지도 설명합니다. 정성 데이터를 LLM으로 채점하려는 조직이 맞닥뜨릴 문제를 미리 보여 주는 사례입니다.
2. Problem
일본은 2014년 기관투자자를 위한 스튜어드십 코드를, 2015년 기업을 위한 기업지배구조 코드를 도입하면서 지배구조 개혁에 속도를 냈습니다. Nippon Life는 이 흐름 속에서 스튜어드십을 핵심 책무로 삼았습니다. 영상 인터뷰에서 이시이 도모치카(Tomochika Ishii) 주식투자부 부장은 Nippon Life가 2014년에 스튜어드십 코드 수용을 표명한 뒤 체제를 강화하며 대화의 양과 질을 함께 늘려 왔다고 설명합니다. 연간 약 700개사라는 대화 규모는 일본에서도 최대급일 것이라고 덧붙입니다.
대화 주제도 넓어졌습니다. 초기에는 지배구조와 재무 성과가 중심이었지만, 이후 환경·사회 주제로 확장되었습니다. 이시이 부장은 확장 시점을 2018년 무렵으로 꼽습니다. 주제가 늘면서 대화의 다양성과 복잡도도 함께 커졌습니다. 스튜어드십 담당자 한 명이 한 해에 100개 가까운 기업을 맡고, 한 기업과도 여러 주제를 여러 해에 걸쳐 다룹니다.
Nippon Life는 이 대화가 어떻게 진행되고 있는지, 어디에 더 집중해야 하는지를 인상이 아니라 일관된 증거로 파악하고 싶어 했습니다. 이를 위해서는 10년 넘게 쌓인 대화 기록을 일관되고 객관적인 방식으로 평가해야 했습니다. 하지만 방대한 기록의 양, 대화의 정성적 성격, 폭넓은 주제 때문에 사람이 직접 평가하기는 어려웠습니다. 사례별 검토로는 드러나지 않는 패턴을 찾아내려면 대화의 질을 대규모로 분석할 방법이 필요했습니다.
확인된 사실: 2014년 스튜어드십 코드와 2015년 기업지배구조 코드, 10년 이상의 스튜어드십 활동, 연간 약 700개사와의 대화, 담당자 1인당 연간 100개사 가까이, 지배구조·재무에서 환경·사회로 넓어진 주제(영상: 2018년 무렵부터), 수작업 평가의 어려움.
3. Solution
3.1 대화의 질과 기업의 변화를 나눠 보는 두 단계 분석
Oliver Wyman은 Nippon Life와 함께 10년 치 대화 기록에서 대화의 질을 평가하고, 그 대화를 관찰 가능한 기업의 변화와 연결하는 AI 기반 프레임워크를 만들었습니다. 영상에서 세키오카 야스유키(Yasuyuki Sekioka) Oliver Wyman 도쿄 오피스 파트너는 프로젝트가 확인하려던 세 가지 핵심 질문을 설명합니다. Nippon Life의 대화 품질이 높은지, 투자 대상 기업이 그 대화를 제대로 받아들였는지, 그 결과 기업이 외부에서 확인할 수 있는 행동 변화를 보였는지입니다. 목표는 이를 가능한 한 객관적으로 분석하는 것이었습니다.
이시이 부장은 Oliver Wyman을 파트너로 고른 이유 가운데 하나로, 직전 2년 동안 스튜어드십 영역 프로젝트를 함께하며 Nippon Life의 활동과 생각을 깊이 이해하고 있었다는 점을 꼽습니다.
3.2 1단계: 대화 품질 평가
첫 단계는 AI에게 Nippon Life의 투자 철학을 이해시키는 일이었습니다. 다음으로 좋은 대화가 무엇인지 정의했습니다. 원문이 제시한 고품질 대화의 기준은 건설적이고 구체적이며, 상대의 행동에 영향을 줄 수 있는 대화입니다. 이시이 부장은 효과적인 대화의 정의를 Nippon Life 측에서 세우고 이를 생성형 AI에 학습·지시했다고 설명합니다.
이어서 300건의 기록으로 파일럿을 돌리며 프롬프트를 다듬었습니다. 목표는 모델이 내용을 지나치게 해석하지 않으면서 대화 품질 단계를 구분하게 만드는 것이었습니다. 이시이 부장은 이 시행착오 과정에서 드러난 문제를 구체적으로 설명합니다. 생성형 AI는 문맥을 이해하는 능력이 뛰어난 반면, 그 능력 때문에 기록 속 Nippon Life 측 발언을 실제보다 긍정적으로 해석해 버리는 경우가 있었고, 이런 사례를 표본 점검 단계에서 걸러 냈다는 것입니다. 최종 프롬프트는 A4 용지 10장 정도 분량에 달했다고 말합니다. 원문은 이 최종 프롬프트 프레임워크가 일관된 평가에 필요한 세부 기준을 담았다고 설명합니다.
보정을 마친 AI는 대화 기록 총 8,830건을 분석했습니다. 원문 영문은 이를 “dialogue minutes”로 표기하는데, 이시이 부장은 같은 숫자를 대화 기록 8,830건이라고 표현합니다. 대화 시간이 아니라 면담 기록(의사록)의 건수입니다. 결과의 신뢰성을 확보하고자 사람이 주도하는 검증과 거버넌스 점검 절차를 함께 두었습니다. 이렇게 해서 대화의 질을 연도별, 주제별, 기업별로 같은 기준에 따라 측정할 수 있게 되었고, 비정형 기록 속에 묻혀 있던 패턴이 드러났습니다. 이시이 부장은 이 대화 품질 분석에 프로젝트에서 가장 많은 시간이 들었다고 말합니다.
3.3 2단계: 요청 사항과 이후 변화의 대조
원문은 대화 품질 측정이 과제의 절반에 불과했다고 말합니다. 다음 단계는 Nippon Life가 전달한 지배구조 요청 뒤에 투자 대상 기업에서 관찰 가능한 변화가 나타났는지 확인하는 일이었습니다.
먼저 10,000건이 넘는 요청 사항을 정량 요청(재무 지표)과 정성 요청(공시, 지배구조 변경)으로 분류했습니다. 그리고 관련 재무 데이터와 공개 보고서를 시스템 환경에 미리 적재했습니다. 이시이 부장은 정량 요청에는 재무 데이터를, 정성 요청에는 유가증권보고서나 통합보고서 같은 공시 자료를 미리 넣어 두었다고 설명합니다. AI는 요청 사항을 이후의 공시·재무 변화와 대조해, 기업의 변화가 요청과 같은 방향이었는지를 평가했습니다.
Nippon Life는 대화와 기업 성과를 연결하는 작업이 복잡하다는 점을 알고 있었기에 이 단계에 건강한 회의감을 가지고 임했습니다. 원문은 시스템 설계와 사람이 주도하는 검증을 결합한 결과, 평가 결과가 일관되고 반복 가능하며 신뢰할 만했다고 설명합니다. 이시이 부장은 이 분석을 Oliver Wyman에 직접 제안했지만 결과에는 반신반의했다고 말합니다.
“생성형 AI가 정말 이렇게 타당한 판단을 내릴 수 있을지 반신반의했지만, Oliver Wyman이 AI로 훌륭한 시스템 환경을 구축해 냈고, 이 점에 정말 놀랐습니다.” — 이시이 도모치카(Tomochika Ishii), CFA, Nippon Life 주식투자부 부장
3.4 분석 규모
원문이 핵심 지표로 제시한 숫자는 성과가 아니라 분석의 규모입니다(원문 게시일 2026-05-28 기준).
확인된 사실: 투자 철학 학습 → 고품질 대화 정의(건설적·구체적·행동에 영향) → 300건 파일럿 프롬프트 조정, 과잉 해석 방지와 표본 점검(영상), A4 10장 분량의 최종 프롬프트(영상), 8,830건 분석, 사람이 이끄는 검증·거버넌스 점검, 10,000건 이상 요청의 정량·정성 분류, 재무 데이터·공개 보고서 사전 적재, 요청과 변화의 방향 일치 평가.
4. Impact
원문은 성과를 비율이나 절대 수치 없이 정성적인 경향으로만 제시합니다.
* 대화 품질: 연도가 지날수록 High Quality로 평가된 대화의 비율이 높아졌습니다. 원문은 이를 Nippon Life의 대화 활동이 효과 면에서 개선되고 있다는 확인으로 해석합니다. 이시이 부장은 대화 품질과 기업 반응 모두에서 좋은 판정을 받은 비율이 해마다 높아졌다고 말합니다.
* 주제별 차이: 재무와 지배구조 주제의 대화는 High, Good, Effective 판정을 더 자주 받았고, 환경·사회 주제의 대화는 결과가 엇갈렸습니다. 이시이 부장은 이 차이가 어느 정도 예상했던 결과였다고 말합니다.
* 대화와 변화의 관계: 대화가 효과적이었고 기업이 긍정적으로 반응한 경우, 관찰 가능한 행동 변화로 이어질 가능성이 더 높았습니다.
* 행동 변화의 해석: 이시이 부장은 기업의 행동 변화가 확인된 비율도 해마다 늘었다고 말합니다. 다만 이를 Nippon Life 대화만의 효과로 단정하지는 않습니다. 기업은 정책, 다른 기관투자자의 요청, 자체 노력 등 여러 요인의 영향을 받으므로, 이 결과를 Nippon Life의 요청과 기업 변화의 방향이 대체로 일치했다는 의미로 받아들인다고 설명합니다.
Nippon Life는 이 분석으로 어디에서 진전이 있었는지, 어디에 더 집중해야 하는지, 대화의 질이 이후 기업 성과와 어떻게 연결되는지를 파악했습니다. 이시이 부장은 담당자 한 명이 한 해에 100개 가까운 기업을 맡는 상황에서 효과적인 대화의 비율을 높이려면 활동 방식을 어떻게 바꾸어야 할지 검토가 필요하다고 느꼈다고 말합니다. 원문은 장기 기관투자자에게 스튜어드십은 빠른 성과를 내는 활동이 아니며, 개선이 나타나기까지 3~5년 이상 걸리는 경우가 많다고 덧붙입니다.
확인된 사실: High Quality 비율의 연도별 증가, 재무·지배구조 주제와 환경·사회 주제의 차이, 효과적 대화와 긍정 반응이 행동 변화 가능성을 높인다는 결과, 행동 변화 비율 증가와 방향 일치라는 해석(영상), 3~5년 이상의 개선 기간.
5. Insight
생성형 AI는 과거 기록을 평가하는 측정 도구로도 쓸 수 있습니다. 이 사례는 새 업무를 자동화하지 않았습니다. 이미 10년 넘게 쌓여 있던 대화 기록을 같은 기준으로 다시 읽어, 사람이 인상으로 판단하던 활동의 효과를 연도·주제·기업 단위로 비교할 수 있게 만들었습니다. 사람이 8,830건을 일관된 기준으로 읽기는 어렵지만, 기준이 고정된 모델은 그 작업을 안정적으로 반복할 수 있습니다.
평가 기준을 세우는 일이 가장 큰 작업입니다. AI에게 먼저 학습시킨 것은 Nippon Life의 투자 철학이었고, 그다음이 좋은 대화의 정의였습니다. 이 정의는 Nippon Life 측에서 직접 세웠고, 최종 프롬프트는 A4 10장 분량에 달했습니다. 이시이 부장은 대화 품질 분석에 가장 많은 시간이 들었다고 설명하는데, 그 중심에는 정성적 판단 기준을 프롬프트로 체계화하는 작업이 있었습니다.
LLM은 기록을 실제보다 우호적으로 읽을 수 있습니다. 문맥 이해력이 뛰어난 모델은 기록 속 발언의 의도를 실제보다 너그럽게 채워 읽는 경향을 보였습니다. 300건 파일럿과 표본 점검은 이 같은 편향을 잡아내는 장치였습니다. 자기 조직의 활동을 자체 평가하는 작업에서는 이러한 관대한 해석이 곧 평가 부풀림으로 이어지므로, 보정 단계가 결과의 신뢰도를 결정합니다.
인과가 아니라 방향 일치로 주장의 범위를 좁혔습니다. Nippon Life는 요청과 변화의 관계를 스스로 방향이 대체로 일치했다는 수준으로 해석하며, 정책이나 다른 투자자의 영향 가능성을 먼저 인정합니다. 대조에 쓸 재무 데이터와 공시 자료도 시스템에 미리 적재해 두었습니다. 주장의 범위를 현실적으로 좁혀 두면 결과를 내부 의사결정의 신뢰할 수 있는 근거로 활용하기 쉬워집니다.
복제 조건과 한계. 이 방식은 10년 넘는 대화가 기록으로 충실히 남아 있고, 기업에 전달한 요청 사항이 기록 안에서 식별 가능해야 성립합니다. 투자 철학과 좋은 대화의 정의를 명문화할 수 있어야 하며, 이 사례에서는 2년 동안 함께 일하며 Nippon Life의 활동을 깊이 이해하고 있던 컨설팅사가 참여했습니다. 공개된 성과는 비율 수치가 없는 정성적 경향이고, 사람이 검증했다고는 하나 AI 판정에 기반한 결과이며, 외부 감사를 거친 결과가 아니라 Oliver Wyman이 게시한 자사 고객 사례라는 점도 함께 고려해야 합니다.
한 줄 요약: 정성적 활동의 효과를 파악하고 싶다면, 먼저 조직의 판단 기준을 글로 명확히 정리하고 표본으로 모델의 해석 편향을 교정한 뒤, 분석 결과는 인과가 아닌 방향 일치 수준에서 읽는 편이 안전합니다.
6. 원문에 없는 추정 (구현 가설)
6.1 루브릭 프롬프트와 300건 보정 루프
근거: 원문은 투자 철학을 먼저 학습시키고 고품질 대화를 정의한 뒤, 300건 파일럿으로 프롬프트를 다듬어 과잉 해석 없이 품질 단계를 구분하게 했다고 설명합니다. 영상에서는 생성형 AI가 발언을 좋은 쪽으로 해석하는 경우를 표본 점검에서 걸러 냈고, 최종 프롬프트가 A4 10장 분량이 되었다고 말합니다. 결과는 연도·주제·기업별로 집계되었고, High, Good, Effective 같은 판정 단계가 등장합니다.
A4 10장이라는 분량을 보면 프롬프트는 단순한 지시문보다 상세한 평가 매뉴얼에 가까웠을 가능성이 높습니다. 앞부분에는 Nippon Life의 투자 철학과 스튜어드십 방침 요약이, 가운데에는 판정 단계별 정의와 경계 사례가, 뒷부분에는 출력 형식이 들어갔을 것입니다. 결과를 주제별로 집계했다는 점에서, 모델은 기록 한 건을 통째로 채점하기보다 기록 안의 주제를 먼저 분류하고 주제마다 판정을 내렸을 것으로 보입니다. 출력은 주제, 판정 단계, 판정 근거가 된 기록 속 문장을 함께 담는 구조화된 형식이었을 가능성이 큽니다. 근거 문장을 필수 인용하게 하면, 모델이 기록에 없는 의도를 임의로 채워 넣은 판정을 표본 점검에서 쉽게 찾아낼 수 있기 때문입니다. 300건 파일럿은 Nippon Life 담당자가 같은 기록에 매긴 판정과 모델 판정을 나란히 놓고, 모델이 더 후하게 매긴 사례를 모아 프롬프트에 금지 규칙과 반례를 추가하는 방식으로 운영되었을 것입니다. 예를 들어 기업의 원론적인 답변을 확정된 약속으로 해석하지 않도록 제한하는 규칙입니다. 이 과정을 거듭하면서 프롬프트가 10장 분량까지 늘어났을 것으로 추정됩니다.
6.2 요청 사항 추출과 사전 적재 자료 대조
근거: 원문은 10,000건이 넘는 요청 사항을 정량(재무 지표)과 정성(공시, 지배구조 변경)으로 분류하고, 관련 재무 데이터와 공개 보고서를 시스템 환경에 미리 적재한 뒤, AI가 요청을 이후의 공시·재무 변화와 대조해 방향 일치를 평가했다고 설명합니다. 영상에서는 정성 요청의 대조 자료로 유가증권보고서와 통합보고서를 듭니다.
요청 사항은 대화 기록에서 먼저 추출되었을 가능성이 높습니다. 기록마다 모델이 기업, 날짜, 주제, 요청 내용, 정량·정성 구분을 추출해 요청 목록을 생성하고, 이 목록이 10,000건 이상의 대조 단위가 되는 흐름입니다. 정량 요청은 요청 시점 전후의 재무 데이터 시계열과 대조하고, 정성 요청은 요청 이후 연도의 유가증권보고서나 통합보고서에서 관련 항목을 찾아 비교했을 것입니다. 자료를 미리 적재했다는 점에서, 모델이 임의로 웹을 검색하지 않고 기업과 연도로 색인된 자료 안에서만 근거를 찾도록 범위를 제한했을 가능성이 높습니다. 이렇게 하면 같은 요청을 다시 분석했을 때 동일한 자료를 참조하게 되어 결과의 반복 가능성이 높아집니다. 개선에 3~5년 이상 걸린다는 설명을 고려하면, 대조 기간도 요청 직후 1년에 그치지 않고 여러 해에 걸쳐 설정했을 것입니다. 판정 결과는 “같은 방향의 변화”, “변화 없음”, “자료만으로 판단 불가”처럼 나뉘고, 판단 근거가 된 공시 문장이나 재무 수치가 함께 기록되었을 것으로 보입니다.
6.3 사람 검증과 반복성 점검
근거: 원문은 사람이 이끄는 검증과 거버넌스 점검을 결합했고, 요청과 변화의 대조 결과가 일관되고 반복 가능하며 신뢰할 만했다고 설명합니다. Nippon Life는 이 단계에 건강한 회의감을 가지고 임했습니다.
“반복 가능하다”는 표현은 같은 입력을 여러 번 실행해 결과가 흔들리지 않는지 점검하는 절차가 있었음을 시사합니다. 프롬프트 버전과 모델 설정을 고정한 상태에서 표본 기록을 반복 평가해 판정 일치율을 살피고…