Listen

Description

Anthropic 使用 Claude Code 實現資料分析自動化。

Anthropic 分享了其內部如何運用「Claude Code」處理 95% 的業務分析查詢,並達到約 95% 的準確率。他們強調,資料分析的挑戰不在於程式碼生成,而在於「上下文」與「驗證」問題。若僅將 LLM 直接接入資料倉儲,容易因資料模型歧義、資料過時或檢索失敗,導致產生錯誤的分析結果。

核心技術架構
Anthropic 建立了一套「Agentic 分析堆疊」來解決上述問題:
資料基礎(Data Foundations):建立單一事實來源(Single Source of Truth),透過嚴格的維度建模與 CI 流程,強制規範資料模型,減少概念與實體間的歧義。
真理來源(Sources of Truth):利用語意層(Semantic Layer)定義指標,並整合公司知識圖譜(如決策日誌、組織結構),讓 Agent 能理解業務背景而非僅是執行 SQL。
Skill 系統:這是 Agent 的「程序性知識」。透過將 Markdown 格式的參考文件與分析模式(如留存率分析、漏斗分析)封裝為 skill,並與資料模型程式碼庫(Repo)同步維護,確保 Agent 能在正確的領域內進行推理。
驗證機制(Validation):透過離線評估(Offline Evals)建立問答對,並將評估結果視為遙測資料(Telemetry)儲存。他們要求在 PR 階段進行 ablation 測試,確保任何對 skill 的修改都能通過評估測試,避免準確率漂移。

實務建議
避免直接檢索原始查詢:研究顯示,直接讓 Agent 搜尋數千個歷史 SQL 檔案對提升準確率幾乎無效,應將其轉化為結構化的參考文件。
Colocation(共置)原則:將資料模型、轉換邏輯與描述該模型的 skill 文件存放在同一個程式庫中,確保模型變更時,相關文件能同步更新。
設定評估門檻:在領域負責人確認該領域的 Agent 離線評估達到預設門檻(如 90%)前,不應對外開放使用。

詳細的最佳實踐與分析流程,可參考 Anthropic 的官方部落格文章:How Anthropic enables self-service data analytics with Claude

原文:https://easyvibecoding.app/curated/1747