Listen

Description

ElevenLabs 推出 Realtime 語音代理:Mini 與 Max 分別面向對話與複雜任務

ElevenLabs 推出 Eleven Realtime 語音轉語音模型系列,分成 v1 Mini 與 v1 Max。產品頁將 Mini 定位為自然對話用途,Max 則面向複雜任務。這次更新的重點,是讓開發者在 ElevenAgents 或 Realtime API 選擇模型,使用語音辨識、輪流發言、語言模型與語音等共同調校的系統。

語音代理是能以語音和人互動的 AI 助手。傳統做法可能要把辨識使用者語音、決定何時回應、生成答案和合成聲音等環節接起來;ElevenLabs 表示,Realtime 將這些環節端到端調校。這是廠商對產品架構的描述,不代表在所有應用中都能達到相同效果。

ElevenLabs 把兩個版本分成不同工作取向:v1 Mini 面向自然對話,官方舉例助理、導師與互動角色;v1 Max 面向較複雜任務,頁面列出客服、潛在客戶資格判定和多步驟工具呼叫。這是產品定位,實際表現仍取決於任務與部署方式。

官方產品定位示意,非按比例且不代表實測效果。

官方頁列出兩款模型的首音延遲與其他基準數據。它稱 Artificial Analysis 分別獨立評估兩款模型:Big Bench Audio 用於語音推理,Full-Duplex-Bench 評估對話動態,Speech Agent Arena 涉及人類偏好與任務成功;首音時間則是 Big Bench Audio 的平均值。表內其他指標來自不同測試,不能當成同一項目直接排名。

| 模型 | 平均首音時間 | 頁面列出的其他指標 | | --- | --- | --- | | v1 Mini | 620 毫秒 | Full-Duplex-Bench:95.8%;Speech Agent Arena:Elo 988 | | v1 Max | 570 毫秒 | Big Bench Audio:98.8%;任務成功率:87.1% |

ElevenLabs 的 X 公告另稱模型「半秒內開始說話」,但沒有附上測試條件;產品頁則列出上述分模型的平均首音時間。兩種說法的測試說明不同,不能把宣傳文案當成適用於所有部署的延遲保證。

接入方式也有範圍差異。官方說明稱 Realtime API 與 OpenAI Realtime API 相容,使用時需改用 ElevenLabs 的端點與模型名稱;但 API 和 ElevenAgents 是分開運作的產品。產品頁 FAQ 指出,Realtime API 在推出時尚不支援 WebRTC,連線使用 WebSocket;若原本的整合採用 WebRTC,需先改用 WebSocket。若需要電話、WhatsApp、知識庫、護欄、測試或監控等 ElevenAgents 功能,應使用 ElevenAgents 路徑。

ElevenLabs 以 Mini 與 Max 兩種配置介紹 Eleven Realtime,並示範語音代理的客戶訪談與客服情境。

原文:https://easyvibecoding.app/curated/3488-elevenlabs-realtime-mini-max-voice-agents