阿里 Qwen3-TTS 全家桶開源：語音生成的「指令時代」來了？

阿里雲 Qwen 團隊發布了 Qwen3-TTS。

這次不是簡單的文本轉語音。它能聽懂自然語言指令，比如你可以直接說：「用一個緊張的、呼吸急促的年輕男性聲音，悄悄地說出這句話。」模型就能按照你的描述生成對應的語音。

這標誌著開源語音模型進入了「指令驅動」的時代。

為什麼 Qwen3-TTS 值得關注？

在深入技術細節之前，我們先看看它解決了什麼核心痛點。目前的 TTS 市場主要分為兩派：一派是追求擬真度的（如 ElevenLabs），另一派是追求速度的（如各類流式模型）。

Qwen3-TTS 試圖做一個「全能選手」，它帶來了三個關鍵突破：

1. 聽得懂人話（指令遵循）： 它能理解自然語言描述的語氣、節奏和情感。
2. 想造什麼造什麼（Voice Design）： 不需要參考音頻，僅憑文字描述就能憑空創造一個獨特的聲音人設。
3. 快速響應（Dual-Track）： 首包延遲低至 97ms，這意味著它完全可以勝任實時對話機器人（如 GPT-4o 的語音模式）。

模型規格一覽

模型版本	參數規模	適用場景	特點
Qwen3-TTS-1.7B	1.7 Billion	高質量內容創作、遊戲配音、複雜指令控制	極致性能，強大的語義理解與控制力
Qwen3-TTS-0.6B	0.6 Billion	端側部署、實時交互、移動應用	性能與效率的平衡，輕量級

技術拆解：它是如何做到的？

Qwen3-TTS 的強大並非憑空而來，背後有幾個技術創新。

1. 12Hz 的壓縮：Qwen3-TTS-Tokenizer

這是整個系統的基石。傳統的語音編碼器往往需要較高的採樣率來保證音質，但這會導致生成的 Token 數量巨大，拖慢速度。

Qwen 研發了 Qwen3-TTS-Tokenizer-12Hz。

• 什麼概念？ 它將語音信號壓縮到了很低的頻率（12Hz），同時採用多碼本（Multi-codebook）機制。
• 效果： 在較低的帶寬下，依然保留了副語言信息（呼吸聲、停頓）和聲學環境特徵。根據官方數據，其 PESQ（語音質量感知）分數領先同類 Tokenizer。

2. 告別 DiT，擁抱 Dual-Track

最近很火的 TTS 模型（如 Fish Speech, F5-TTS）很多採用了 DiT（Diffusion Transformer）架構。雖然效果好，但擴散模型的生成速度通常是個瓶頸。

Qwen3-TTS 選擇了 非 DiT 架構，並引入了 Dual-Track（雙軌）混合流式生成架構。

• 單模型雙模式： 同一個模型既可以做非流式（追求整體一致性），也可以做流式（追求速度）。
• 97ms 延遲： 這是什麼水平？人類對對話延遲的感知閾值大約在 200ms 左右。97ms 意味著用戶說完話，模型幾乎是「秒回」，沒有尷尬的等待空白。

實戰：如何使用 Qwen3-TTS？

直接看代碼。雖然官方提供了 API，但作為開發者，我們更關心如何本地運行。以下是基於 ModelScope/HuggingFace 的使用預覽（具體代碼需配合官方倉庫更新調整）。

環境準備

首先，你需要安裝必要的依賴庫：

pip install modelscope torch torchaudio transformers

場景一：基於文本描述創造聲音 (Voice Design)

這是 Qwen3-TTS 最酷的功能。你不需要找錄音，直接「捏」一個聲音出來。

from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer
# ⚠️ 註：以下為概念代碼，具體 API 調用請參考官方 GitHub 最新文檔

model_dir = snapshot_download('Qwen/Qwen3-TTS-1.7B')

# 假設的加載方式
model = AutoModelForCausalLM.from_pretrained(model_dir, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# 定義你的「聲音人設」
voice_prompt = """
採用高亢的男性嗓音，語調隨興奮情緒不斷上揚，
以快速而充滿活力的節奏傳達信息。
音量要足夠響亮，近乎喊叫，以體現緊迫感。
"""

text_to_speak = "各位，往後退！我有個天大的好消息要宣布：Qwen-TTS 正式開源啦！"

# 生成音頻
audio = model.generate_audio(
    text=text_to_speak,
    voice_description=voice_prompt, # 直接傳入描述
    language="zh"
)

# 保存音頻
with open("output_design.wav", "wb") as f:
    f.write(audio)

場景二：精細化指令控制 (Instruct)

除了創造聲音，你還可以控制「怎麼說」。這對於有聲書製作簡直是神器。

# 角色：甜茶 Ryan (預設音色)
text = "She said she would be here by noon."

# 指令 1：悲傷哭腔
instruction_sad = "spoke with a very sad and tearful voice."

# 指令 2：悄悄話
instruction_whisper = "請特別小聲的悄悄說"

audio_sad = model.generate_with_instruction(text, instruction_sad, speaker="Ryan")
audio_whisper = model.generate_with_instruction(text, instruction_whisper, speaker="Ryan")

💡 提示： 這種指令控制能力，讓 TTS 終於擺脫了「捧讀」的尷尬，可以演繹出戲劇張力。

優缺點

做得好的地方

1. 理解自然語言：不用調參數，直接說「諷刺的語氣」或「耳語」就行
2. 多語言支持：中英日韓德法等 10 種語言，一個模型搞定
3. 開源且輕量：0.6B 版本有可能在手機上跑

需要注意的問題

1. 推理成本：高並發場景下，成本比傳統 TTS 模型高
2. 可能出現幻覺：基於語言模型，理論上會多讀字或漏讀字
3. 指令精確度：模糊指令（「稍微快一點點」）的一致性還需要測試

總結與展望

Qwen3-TTS 將「文本理解」與「語音合成」之間的界限打破了。

對於開發者而言，現在是構建下一代語音應用的最佳時機。無論是 AI 伴侶、沉浸式遊戲 NPC，還是自動化有聲書製作，Qwen3-TTS 都提供了一個強大且免費的基座。

下一步行動建議：

• 如果你是應用開發者：立即測試 0.6B 模型的流式 API，評估其在你的 App 中的延遲表現。
• 如果你是內容創作者：嘗試使用 Voice Design 功能，為你的視頻或播客創造一個獨一無二的專屬旁白，避免版權糾紛。

---

參考資料 / 相關鏈接：

• ModelScope 模型庫
• HuggingFace Collection
• GitHub 項目主頁