FinanceHarness 논문이 보여준 금융 AI의 한계와 투자 리서치 활용법
LLM으로 기업 실적, 산업 경쟁, 밸류에이션을 조사하는 투자자가 늘었지만, 범용 딥리서치 도구만으로 투자 분석을 끝내기는 어렵습니다. 자료를 잘 찾아 요약하는 것과 투자 판단에 필요한 구조로 연결하는 것은 다른 문제이기 때문입니다.
Google Cloud AI의 논문 FinanceHarness: Autonomous Financial Deep Research Framework는 이 차이를 금융 전용 에이전트 하네스와 벤치마크의 형태로 다룹니다. 논문과 함께 소개된 FinanceGym은 금융 리서치 시스템이 과거의 사실을 찾는 능력뿐 아니라, 특정 시점 이후의 결과를 추론하는 능력까지 갖췄는지 분리해 평가합니다.
이 연구에서 중요한 메시지는 단순합니다. 금융 AI의 성능은 어떤 프롬프트를 입력했는지만으로 결정되지 않습니다. 어떤 도구를 언제 호출하고, 자료의 시점을 어떻게 통제하며, 계산 결과와 인용을 어떻게 검증하는지가 결과의 신뢰도를 크게 좌우합니다.
범용 딥리서치가 금융 분석에서 부족한 이유
Gemini Deep Research나 Perplexity 같은 범용 시스템은 웹 검색, 문서 탐색, 요약에는 강점이 있습니다. 하지만 투자 분석은 자료를 모으는 데서 끝나지 않습니다. 어닝콜과 사업보고서에서 실적 변화를 확인하고, 경쟁사의 움직임과 산업 구조를 비교한 뒤, 밸류에이션과 거시 변수까지 연결해야 합니다.
예를 들어 매출이 증가했다는 사실만으로는 투자 판단을 내리기 어렵습니다. 증가 원인이 가격 인상인지, 판매량 증가인지, 일회성 계약인지에 따라 다음 분기의 지속 가능성이 달라집니다. 경쟁사가 같은 시장에 진입했는지, 마진이 악화되고 있는지, 현재 주가가 이미 높은 성장률을 반영했는지도 함께 봐야 합니다.
| 매출 증가의 원인 | 다음 분기에 이어질까 | 함께 볼 지표 |
|---|---|---|
| 가격 인상 | 수요 이탈 여부에 달림 | 판매량, 이탈률 |
| 판매량 증가 | 비교적 이어지기 쉬움 | 마진, 경쟁사 진입 |
| 일회성 계약 | 이어지지 않음 | 계약 구조, 반복 매출 비중 |
범용 검색 도구는 관련 자료를 찾아줄 수 있지만, 금융 분석에 필요한 계산과 비교를 자동으로 수행하거나 서로 다른 출처의 시점을 일관되게 맞추는 데는 한계가 있습니다. FinanceHarness가 금융 전용 도구와 작업 흐름을 별도로 설계한 이유가 여기에 있습니다.
FinanceHarness는 세 계층으로 구성된다
FinanceHarness의 구조는 모델, 런타임, 도구의 세 계층으로 나뉩니다. 이 구분은 특정 LLM에 모든 기능을 의존하지 않고, 모델이 바뀌어도 리서치 과정의 통제 장치를 유지하려는 설계로 볼 수 있습니다.
모델 계층: 백본과 장문서 처리 모델
모델 계층에는 실제 추론을 담당하는 백본 LLM과 긴 문서에서 필요한 내용을 추출하는 리더(reader)가 포함됩니다. 백본 모델은 로컬 모델이나 API 기반 모델로 교체할 수 있도록 구성됩니다. 따라서 특정 상용 모델 하나의 성능만 측정하는 방식이 아니라, 같은 하네스에서 모델을 바꿨을 때 결과가 어떻게 달라지는지 비교할 수 있습니다.
금융 문서는 사업보고서, 실적 발표 자료, 컨퍼런스콜처럼 길고 형식이 제각각인 경우가 많습니다. 이때 단순히 문서 전체를 프롬프트에 넣는 것보다 필요한 기간과 항목을 정확히 추출하는 과정이 중요합니다. 장문서 처리 계층을 별도로 둔 것은 이런 실무적 문제를 반영한 부분입니다.
런타임 계층: 에이전트 루프와 실패 복구
런타임은 에이전트가 검색하고, 읽고, 계산하고, 다시 확인하는 순서를 관리합니다. 여기에는 에이전트 루프, 출력 스키마 검증, 도구 호출 분배, 예산 제한, 오류 복구가 포함됩니다.
특히 스키마 검증은 금융 리서치에서 중요합니다. 모델이 숫자나 인용을 자유로운 문장으로만 출력하면 후속 계산이나 검증이 어렵습니다. 정해진 형식에 맞는지 확인하면 잘못된 도구 호출, 누락된 필드, 계산에 사용할 수 없는 값을 일부 걸러낼 수 있습니다.
예산 제한도 현실적인 요소입니다. 에이전트가 자료를 끝없이 검색하면 비용과 시간이 증가하고, 관련성이 낮은 자료가 결과에 섞일 수 있습니다. FinanceHarness의 런타임은 모델의 지능을 대신하는 것이 아니라, 모델이 어떤 작업을 하더라도 지켜야 할 교차 계층 규칙을 강제하는 역할을 맡습니다.
도구 계층: 항상 쓰는 기능과 필요할 때만 불러오는 기능
도구는 세 단계로 나뉩니다. 핵심 검색, 문서 읽기, 인용처럼 거의 모든 조사에 필요한 기능은 항상 로드합니다. 밸류에이션, 비교분석, 시나리오 분석 도구는 필요할 때 지연 로드합니다. 여기에 MCP나 CLI, 유료 데이터 제공업체 같은 확장 도구를 연결할 수 있습니다.
이 방식은 도구를 많이 붙이는 것만으로 성능이 좋아지는 것은 아니라는 점을 보여줍니다. 모든 기능을 처음부터 노출하면 에이전트가 불필요한 도구를 선택하거나 호출 순서를 혼동할 수 있습니다. 반대로 조사 단계에 맞춰 필요한 도구만 열어 주면 작업 흐름을 더 통제하기 쉽습니다.
FinanceGym이 기존 평가와 다른 부분
FinanceGym은 400개의 전문가 검증 금융 리서치 질문으로 구성된 벤치마크입니다. 핵심은 질문의 답을 맞혔는지만 보는 것이 아니라, 과거 증거 수집과 미래 추론을 나누어 평가한다는 점입니다.
과거 자료와 미래 추론을 분리한다
pre-cutoff 평가는 특정 기준 시점 이전에 공개된 정보만 사용해 사실과 근거를 수집하는 능력을 봅니다. 기업의 과거 실적, 당시 발표된 정책, 경쟁사 움직임 등을 찾아 답하는 작업이 여기에 해당합니다.
post-cutoff 평가는 기준 시점 이후에 벌어진 결과를 미리 알 수 없다는 조건에서, 당시 정보만으로 미래 상황을 추론했는지를 봅니다. 이는 단순한 검색 능력보다 훨씬 어려운 문제입니다. 실제 투자에서도 과거의 숫자를 정리하는 것보다, 그 숫자가 다음 실적과 주가에 어떤 영향을 줄지 판단하는 일이 더 어렵습니다.
제공된 논문 요약에 따르면 전문가의 통과율은 82%였지만, 최고 수준의 LLM과 에이전트 시스템도 40% 미만에 머물렀습니다. 수치의 세부 평가 방식과 실험 조건은 원 논문에서 확인해야 하지만, 적어도 현재 시스템이 사람의 금융 판단을 대체한다고 보기 어렵다는 방향은 분명합니다.
PIT 검색이 필요한 이유
FinanceGym은 Point-in-Time, 즉 특정 시점에 실제로 이용 가능했던 정보만 검색하는 샌드박스를 사용합니다. 이 장치가 없으면 백테스트나 과거 시점 분석에서 미래 정보가 섞일 수 있습니다.
가령 2022년 말 투자자가 분석한다고 가정했는데, 시스템이 2023년 실적 발표나 이후의 주가 움직임을 참고하면 결과는 좋아 보일 수 있습니다. 그러나 그것은 당시 투자자가 알 수 없었던 정보를 이용한 것입니다. AI가 논리적으로 예측한 것이 아니라 사후적으로 정답을 확인한 셈입니다.
따라서 AI 투자 분석 결과에는 답변의 품질뿐 아니라 자료의 기준일, 문서 공개일, 데이터 업데이트 시점을 함께 기록해야 합니다. 현재 웹 검색 결과를 그대로 과거 분석에 사용하는 방식은 백테스트에 적합하지 않습니다.
논문에서 드러난 세 가지 실무적 발견
첫째, 27B 규모의 오픈 모델에 FinanceHarness를 결합한 시스템이 훨씬 큰 오픈 모델을 앞섰고, 일부 프로프라이어터리 모델에 근접했다는 결과가 소개됐습니다. 이는 모델 파라미터 수가 전부가 아니라는 뜻입니다. 금융 도구를 적절히 호출하고 자료를 검증하는 구조가 작동하면 상대적으로 작은 모델도 경쟁력을 가질 수 있습니다.
둘째, 모델 교체의 영향이 스캐폴드, 즉 에이전트 실행 구조 교체보다 컸습니다. 같은 모델에 여러 하네스를 붙이는 것보다 같은 하네스에 다른 모델을 넣었을 때 점수 차이가 더 크게 나타났다는 의미입니다. 다만 이것이 하네스가 중요하지 않다는 뜻은 아닙니다. 도구와 검증 구조가 기본 성능을 받쳐 주고, 최종 추론력은 백본 모델의 영향을 크게 받는다는 식으로 해석하는 편이 안전합니다.
셋째, pre-cutoff 점수가 post-cutoff 점수보다 몇 배 높았습니다. LLM은 과거의 보고서와 뉴스를 모아 근거를 정리하는 데는 비교적 강하지만, 그 근거를 바탕으로 앞으로 어떤 일이 일어날지 판단하는 데는 급격히 약해집니다.
이 차이는 투자자가 AI 결과를 읽는 방식에도 영향을 줍니다. 과거 사실, 출처, 재무 수치를 정리한 부분은 검증을 전제로 생산성 도구로 활용할 수 있습니다. 반면 목표주가, 실적 전망, 정책 변화의 파급효과 같은 미래 판단은 별도의 가정과 반론 검토가 필요합니다.
LLM 투자 리서치에 적용할 때 확인할 것
FinanceHarness를 그대로 구축하지 않더라도 설계 원칙은 실무에 적용할 수 있습니다. 먼저 질문을 ‘자료 수집’과 ‘전망’으로 나눠야 합니다. 어느 기업의 지난 3년 매출과 영업이익을 확인하는 작업과, 다음 분기 마진이 개선될지를 판단하는 작업은 같은 프롬프트에 넣을 성격이 아닙니다.
자료 수집 단계에서는 기준일을 먼저 정하고, 문서의 발행일과 회계 기간을 구분해야 합니다. 검색 결과를 그대로 복사하기보다 원문 인용 위치와 수치를 함께 저장하는 편이 좋습니다. 특히 실적 발표 자료와 언론 기사에서 같은 지표의 정의가 다를 수 있으므로, 계산에 사용할 숫자는 10-K, 사업보고서, 실적 발표 자료 등 1차 자료를 우선 확인해야 합니다.
분석 단계에서는 금융 전용 기능을 분리하는 것이 유리합니다. 비교 기업의 성장률과 마진을 같은 기준으로 맞추고, 밸류에이션 배수의 분모가 어떤 기간의 실적인지 확인하며, 낙관·기준·비관 시나리오를 나눠야 합니다. AI에게 “좋은 기업인지 평가하라”고 묻는 것보다 이런 중간 산출물을 정해 주는 편이 결과를 점검하기 쉽습니다.
마지막으로 미래 추론은 사람의 검토 단계로 남겨 두는 것이 현실적입니다. AI가 제시한 전망에서 빠진 변수, 서로 충돌하는 근거, 이미 가격에 반영됐을 가능성, 반대 시나리오를 따로 확인해야 합니다. 답변이 유창하고 인용이 많다는 이유만으로 전망의 정확도가 보장되지는 않습니다.
금융 AI의 다음 과제는 검색보다 추론이다
FinanceHarness의 의미는 ‘AI가 투자자를 대신한다’는 데 있지 않습니다. 오히려 금융 분석에서 자동화할 수 있는 부분과 아직 사람의 판단이 필요한 부분을 분리해 보여준다는 데 가깝습니다.
검색, 문서 추출, 인용 정리, 반복 계산은 전용 하네스와 도구를 통해 상당히 체계화할 수 있습니다. 반면 미래 추론은 데이터의 방향성, 경영진의 실행력, 경쟁사의 대응, 예상 밖의 거시 변수처럼 정형화하기 어려운 요소를 함께 다뤄야 합니다.
따라서 LLM을 투자에 활용할 때 가장 먼저 볼 것은 답변의 문장력이 아닙니다. 어떤 시점의 자료를 사용했는지, 금융 계산 도구가 연결돼 있는지, 인용과 숫자를 검증했는지, 전망의 가정과 반대 경우를 제시하는지부터 확인해야 합니다. FinanceHarness 논문은 좋은 프롬프트 하나보다 도구·워크플로우·시점 통제가 결합된 하네스가 필요하다는 점을 구체적인 평가 체계로 보여줍니다.
