奇點網>綜合>正文

Alexa語音規範化AI可将識别錯誤減少高達81%

2019-07-03 19:05:36 IT經理網 CashCat 分享

文本規範化是大多數自然語言系統中的基本處理步驟。對于亞馬遜的Alexa而言,“在下午5點給我預訂一張桌子”(Book me a table at 5:00 p.m.)可能會被人工智能助理的自動語音識别器記錄為:“five p m”并進一步重新格式化為“5:00 PM”。同樣,Alexa也可以把“5 :30PM”的文本轉化成“five thirty p m”的語音。

那麼這是如何實現的呢?答案聽上去有點“反智”。根據Alexa 人工智能工作組應用科學家Ming Sun和Alexa語音機器學習科學家Yuzong Liu的說法,目前,亞馬遜的語音助手依賴手寫預設的數以千計的日期、電子郵件地址、數字、縮寫和其他表達的規範化規則。對于英語而言,這一切都還可以,但這種方法并補能适用其他一些語言(如果沒有大量的手工勞動),亞馬遜科學家正在研究一種由機器學習驅動的更具可擴展性的技術。

預計在語言學協會北美分會(NAACL)上發布的(“ 帶有子詞單元的神經文本标準化”)論文中,Sun Liu及其同事描述了一種分解輸入詞的AI文本規範化系統。并将流輸出為“子詞單元”(subword units)的較小字符串。關于這些子詞單元,Sun和劉在博客文章中解釋可以減少機器學習模型必須學習的輸入數量,并避免像“Dr”(可能意味着“醫生”或“驅動器”)和“2/3”(可能意味着”三分之二“或”二月三分之一“)這樣的字符組合産生模棱兩可的意思。

此外,子詞單元使AI模型能夠更好地處理之前從未見過的輸入字。不熟悉的單詞可能包含熟悉的子詞組件,這些有時足以幫助模型決定一個行動方案。

研究人員的系統通過将訓練數據集中的單詞減少為單個字符來創建子詞單元,該算法用于識别最常出現的雙字符單元和三字符單元,直到達到容量上限(大約2,000個子字)。這些組件用于訓練AI系統輸出子字單元,一個單獨的算法在将這些單元拼接成完整的單詞。

在對來自公共數據集的500,000個示例進行系統訓練之後,研究人員表示,與先前報告的性能最佳的機器學習系統相比,Alexa的錯誤率降低了75%,問答響應延遲(響應所需時間)減少了63%。通過考慮附加信息,例如詞性,句子内的位置和大小寫,系統進一步降低了81%的錯誤率并且單詞錯誤率僅為0.2%。

聲明:本站部分資源來源于網絡,版權歸原作者或者來源機構所有,如作者或來源機構不同意本站轉載采用,請通知我們,我們将第一時間删除内容。本站刊載文章出于傳遞更多信息之目的,所刊文章觀點僅代表作者本人觀點,并不意味着本站贊同作者觀點或證實其描述,其原創性及對文章内容的真實性、完整性、及時性本站亦不作任何保證或承諾,請讀者僅作參考。
編輯:可欣