?? 龍蝦新聞

AVA開源語音AI代理發(fā)布：深度集成Asterisk/FreePBX的本地化STT-LLM-TTS全棧私有部署方案

發(fā)布時(shí)間：2026-07-15 分類：龍蝦新聞

摘要：AVA開源語音AI代理發(fā)布：首個(gè)深度集成Asterisk/FreePBX的本地化語音Agent，STT→LLM→TTS全棧私有部署AVA v0.3.0 正式發(fā)布。它直接嵌入 Asterisk/FreePBX 電話系統(tǒng)，不依賴云服務(wù)——語音識(shí)別（STT）、大模型推理（LLM）、語音合成（TTS）全部在本地完成。音頻和文本不出內(nèi)網(wǎng)，全程走 Asterisk 原生 AudioSocket 協(xié)議，R...

AVA開源語音AI代理發(fā)布：首個(gè)深度集成Asterisk/FreePBX的本地化語音Agent，STT→LLM→TTS全棧私有部署

AVA v0.3.0 正式發(fā)布。它直接嵌入 Asterisk/FreePBX 電話系統(tǒng)，不依賴云服務(wù)——語音識(shí)別（STT）、大模型推理（LLM）、語音合成（TTS）全部在本地完成。音頻和文本不出內(nèi)網(wǎng)，全程走 Asterisk 原生 AudioSocket 協(xié)議，RTP 流直連。Python 引擎只需 2GB 內(nèi)存就能跑通完整語音閉環(huán)。

開箱支持 OpenAI、Gemini、Grok 等 LLM API，也兼容 ElevenLabs、PlayHT 等 TTS 服務(wù)。同時(shí)開放 Pipeline 接口：Whisper.cpp、Ollama 本地模型、Piper 或 Tortoise TTS 都能自由替換。中小企業(yè)可直接用它替換舊 IVR；開發(fā)者 5 分鐘就能搭起一個(gè)數(shù)據(jù)不出機(jī)房的 AI 坐席。

AudioSocket 直連：繞過 WebRTC 和 SIP 中繼

AVA 不走 WebRTC 或 SIP 中繼的老路，而是直接用 Asterisk 18+ 的 AudioSocket 接口——這是 Asterisk 為實(shí)時(shí)雙向語音流設(shè)計(jì)的原生通道，端到端延遲 <420ms，單節(jié)點(diǎn)穩(wěn)定支撐 32 路并發(fā)呼叫。

它跳過 SIP 信令層，直接解析和注入 RTP 包。STT 引擎（比如量化后的 Whisper.cpp）逐幀接收 PCM 流；LLM 輸出經(jīng) TTS 轉(zhuǎn)成 PCM 后，實(shí)時(shí)塞進(jìn) RTP payload 發(fā)送出去。

實(shí)測(cè)環(huán)境：Intel i5-1135G7 + 16GB RAM。單核 CPU 峰值占用低于 65%，遠(yuǎn)低于 LangChain + Twilio 這類組合（常超 90%）。老舊服務(wù)器、Jetson Orin、RK3588 邊緣盒子都能跑。

STT → LLM → TTS 三層解耦，中間文本全程可控

AVA 把語音感知、語義理解、語音生成三件事徹底分開：

STT 模塊默認(rèn)用 Whisper.cpp（支持 tiny.en 和 turbo 量化模型），也可切到 Vosk 或 DeepSpeech
LLM 層通過 OpenRouter 統(tǒng)一適配器，自動(dòng)路由到 GPT-4o、Claude-3-haiku、Qwen2-7B-Instruct，甚至本地 Qwen2-VL 多模態(tài)模型
TTS 支持 REST 調(diào)用 ElevenLabs，也支持直連 Piper（含 zh-CN、en-US 等 12 種語言聲線）

所有中間文本——ASR 結(jié)果、LLM 的 prompt 和 response、TTS 輸入——都不經(jīng)過外部服務(wù)。你可以審計(jì)日志、插自定義敏感詞過濾、加企業(yè)知識(shí)庫檢索、甚至對(duì)接內(nèi)部 LDAP 認(rèn)證。

深圳一家跨境電商客戶已用 AVA 替掉阿里云智能外呼系統(tǒng)。通話錄音和對(duì)話上下文全部存在本地 NAS，合規(guī)審計(jì)從按月縮短到按小時(shí)。

Pipeline DSL：不用改代碼，YAML 就能換技術(shù)棧

安裝只要三步：

git clone https://github.com/ava-voice/ava.git

![配圖](http://www.lvxe.net.cn/usr/uploads/covers/cover_news_20260715_080620.jpg)

pip install -r requirements.txt
./setup-asterisk.sh

腳本自動(dòng)配置 modules.conf、extensions.conf 和 rtp.conf。

真正靈活的是它的 Pipeline DSL。用 YAML 就能切換組件：

stt:
  model: "whisper.cpp"
  device: "cuda:0"
llm:
  provider: "ollama"
  model: "qwen2:7b"
  timeout: 12
tts:
  engine: "piper"
  voice: "zh_CN-huayan-medium"

項(xiàng)目自帶 FreePBX 插件包（.tar.gz 格式），一鍵導(dǎo)入后，在 GUI 里配 Dialplan 就能啟用 AI 坐席。

龍蝦生態(tài)開發(fā)者已基于 AVA 開發(fā)出 OpenClaw-Telephony 擴(kuò)展模塊，把龍蝦 Agent 的多步任務(wù)調(diào)度能力直接注入電話流程。例如用戶說“我要退訂會(huì)員”，AVA 觸發(fā) OpenClaw 執(zhí)行三步操作：CRM 查證 → 匹配退款策略 → 發(fā)短信確認(rèn)。全程無 API 網(wǎng)關(guān)跳轉(zhuǎn)。

它不是 Demo，是 Asterisk 的新 module

AVA 不是又一個(gè)語音前端 Demo。它把 AI 語音代理拉回通信基礎(chǔ)設(shè)施層——LLM 在 Asterisk 里跑，就像 app_dial 或 app_queue 一樣。

Twilio Autopilot 必須走它的信令網(wǎng)關(guān)；Azure Communication Services 綁死微軟云身份；連開源項(xiàng)目 Jigasi 都得靠 Jitsi Meet 中繼。而 AVA 錨定 AudioSocket，本質(zhì)上是給 Asterisk 新增了一個(gè) module。

目前已有 17 家國內(nèi)呼叫中心服務(wù)商啟動(dòng)集成測(cè)試，其中 3 家明確將 AVA v0.4 列入 2024 年信創(chuàng)替代清單。它也是少數(shù)幾個(gè)同時(shí)滿足 GDPR、等保 2.0 和金融行業(yè)數(shù)據(jù)本地化要求的語音 Agent 基座。

返回首頁