隨著AI 聊天機器人和藝術生成器似乎越來越受歡迎，近日，Meta剛剛推出了Voicebox，這是一種文本引導的 人工智能語音生成器，功能非常強大，以至于該公司聲稱其性能優于所有現有模型。 

Voicebox 足夠強大，可以像ChatGPT可以生成文本和Bing 或 Dall-E 2可以創建圖像一樣輕松地生成語音。盡管該系統尚未廣泛供公眾使用，但 Meta 已 為任何有興趣了解更多有關 Voicebox 的人 提供演示。該系統可用于內容創作者和編輯者的音頻編輯，例如，因為它的語音生成可以產生聽起來自然的音頻剪輯。但它的用途非常廣泛，可以智能地編輯語音片段中的噪音，例如狗叫聲，并在不丟失節拍的情況下重新生成聲音。Voicebox 提供的功能之一是它可以匹配樣本的音頻風格并生成文本到語音剪輯。從本質上講，視障用戶可以給 Voicebox 一個朋友的音頻片段，最短兩秒，它就可以使用 AI 以朋友的聲音閱讀朋友的書面信息。 

新的生成式 AI工具可以通過上下文學習來解決任務，因此它可以處理以前從未提供過的文本，并正確地生成上下文和詞形變化，就像一個人通過使用現有知識閱讀它來學習和應對新挑戰一樣。這個開創性工具的倫理和法律影響不容忽視。任何人都可以在未經許可的情況下使用某人的錄音制作音頻剪輯，并聲稱可以讓他們說出他們想說的任何話。在發表的論文中，Meta 聲稱二元分類模型可以區分真實世界的語音和 Voicebox 生成的語音。不管怎樣，由于該系統不是公開可用的，Meta 的比喻性的腳還沒有被火燒掉。

Meta 在 60,000 小時的英語有聲讀物和 50,000 小時的六種語言多語言有聲讀物上訓練了 Voicebox 以獲得最佳性能。它的訓練使其能夠執行多語言文本到語音而無需訓練、語音降噪、樣式化、編輯和生成不同的語音樣本。

在 Meta AI 發表的一篇論文中，該公司聲稱它可以比微軟的VALL-E快 20 倍并且更易理解地 生成多樣化的音頻樣本。除了比競爭對手更快和更少的錯誤外，Meta 聲稱 Voicebox 可以將書面文本轉換為一種或多種語言的口語，而無需分別針對每種語言進行專門培訓。與之前最先進的模型YourTTS相比，Voicebox 被發現將平均單詞錯誤率從 10.9% 降低到 5.2%，并將音頻相似度從 0.335 提高到 0.481。