首個聽障人士聲音復原工具免費開放

近日,本站集團、本站公益聯合浙江省殘疾人福利基金會發起“人生第一句”聲音復原公益計劃,利用本站互娛AI Lab的iSpeech技術打造首個AI復原聽障人士原聲的工具——聽障人士僅需上傳2分鐘沒有完整語義的發聲片段,之後在產品中輸入想要表達的文字,就可以用原本的聲音說出來。目前該產品已向全國聽障人士免費開放,幫助他們無障礙、有情感地與外界交流,用自己的聲音說出“人生第一句”。

據介紹,作爲亞運圓夢計劃之一,“人生第一句”公益計劃在杭州2022年第4屆亞洲殘疾人運動會組委會、中國殘疾人事業新聞宣傳促進會、浙江省殘疾人聯合會的指導下發起,基於致敬亞運、助力亞殘運、助力殘障人士社會融合的大背景,通過AI技術幫助聽障人士實現“親口說話”的人生夢想,號召更多人“益”起來關注殘障人士,關注無障礙環境建設。

首個AI聲音復原工具,免費開放給全國聽障人士

不久前,浙江省殘疾人福利基金會面向浙江特殊教育職業學院的學生和音書APP(擁有百萬聽障用戶)的部分用戶開展調研,調研結果顯示,僅有十分之一的受訪對象能夠通過簡單的口語與身邊的人進行交流,他們中的大多數人經歷過太多想說但說不出的自卑與懊惱,最大的夢想便是能說出“人生第一句”。

是否能運用最新的人工智能技術幫助聽障人士向他人傳遞自己的真實想法和真誠態度?本站互娛AI Lab的技術團隊展開了研究。研究發現,目前市場上絕大多數語音克隆產品需要輸入完整講話採集數據,對於無法正常發出語義的聽障人士來說並不適用,而且面向聽障人士的交流工具,大多也只有文字轉語音功能,他們無法用自有的音色表達。

因此,本站互娛AI Lab研發團隊利用iSpeech技術,基於海量數據的預訓練模型,加上聽障人士極少量的純語音數據快速微調算法模型,在快速克隆新的說話人音色的同時保留基礎模型的內容發音能力,研發首個聽障人士聲音復原工具,實現只需輸入文字就可實時用原聲流暢表達,讓聽障人士能圓夢“人生第一句”。

目前該聲音復原工具已經在音書App上線,供聽障人羣免費使用,並且在浙江省杭州市馬塍路殘疾人融合就業街區試點應用,幫助聽障咖啡師、麪包師等更好地工作。據瞭解,殘疾人融合就業街區也是杭州亞殘運會期間對外展示的窗口,有了科技的助力,無聲小店的工作人員從被助者變爲助人者,便捷流暢地與各方來客交流,爲他們提供更好的服務,向世界展示中國殘疾人羣體的新風貌。

近七成聽障人士表示希望使用,人生第一句話是說“謝謝”

在調研中,有超過67%的受訪對象表示“願意使用音色復原技術”,超過一半的受訪對象表示“願意將音色復原技術推薦給身邊有需要的人”,也有部分受訪對象表示除了手機APP軟件以外,希望音色復原技術應用於在公交、出租、飯店、超市、銀行等公共場所。

99年的小陳是一位先天聽障的甜品師。也許是因爲她的世界格外安靜,工作時總是非常專注,做的奶凍和牛角包總是被一搶而空。但小陳心裡一直有個願望,希望能跟顧客“親口”交流。此前遇到過商品原材料等問題,有些顧客沒耐心文字解釋,她只能乾着急,而且她也想向老顧客們“親口”說句感謝。自從試用了產品後,她覺得顧客多了一些耐心,交流起來變得平等同步了,她也更有底氣,更自信,更願意主動交流。

跟小陳一樣,沈師傅也是殘疾人融合就業街區的一位理髮師,他做理髮師10多年了,最擅長快剪男頭。因爲家庭條件不好,從小沒有錢去訓練讀、聽能力,所以在工作中,他只能用文字、簡單手勢來跟客人溝通髮型要求。他的顧客中老年人偏多,文字交流更加費勁。試用產品後,他能非常順暢、快速地瞭解客戶需求,平時生活中上醫院、上超市、上高鐵都方便多了。

除了工作以外,人生重要時刻無法親口表達也是聽障人士很大的遺憾。顧老師是一位曾經參與世界巡演的舞蹈家,一歲時的一次發燒打針讓她的世界永遠失去了聲音。她說,自己的童年是在四處求醫中度過的,不管藥有多苦、針有多疼她都堅持治療,但每次都是開開心心去,失望而歸。後來媽媽就把她送進聾兒康復中心進行語言康復訓練,“當我說話的時候別人會用異樣的眼光看我,我覺得很自卑。”

在老師的鼓勵下,她開始學畫畫、書法、舞蹈,後來成爲一名殘疾人藝術團的舞蹈演員,參加過浙江賽區環球小姐比賽,也拍攝過殘奧會獻禮影片。但每當這些重要時刻,她都很遺憾無法表達激動與感謝。如今,她能用自己的音色“說話”了,“想說又說不出的時候太多了!現在最想對陪在我身邊鼓勵我的人說感謝!也想對女兒說對不起,她學說話的時候不能陪她、教她。”

浙江省殘疾人福利基金會理事長趙小飛表示,浙江省共有持證殘疾人133.7萬人,其中聽力殘疾20.8萬人、言語殘疾1.7萬人,希望通過這一AI技術幫助他們用自己的音色向他人傳遞內心真實想法,進而推動解決該羣體在和健聽人溝通交流過程中存在的障礙問題,改變他們的生活、學習和工作環境狀況及相應的能力水平,使他們真正能夠平等參與社會生活,實現人生價值。

大模型只能對話、寫詩、作畫?本站AI技術加速落地普惠

實際上,一直以來本站持續利用遊戲技術助力打造無障礙社會。此次運用的iSpeech技術原本是由本站互娛AI Lab針對遊戲場景推出的AI創作工具,已落地服務於以《大話西遊》《一夢江湖》《荒野行動》爲代表的10餘項遊戲項目產品之中,相關技術成果斬獲了多項國際頂會論文和技術專利,並在此前應用於遊戲中,進行交互界面的朗讀播報,輔助視覺障礙人士玩遊戲。

隨着AI浪潮的興起,本站除了加快人工智能技術在產業的落地應用外,也致力於讓每個普通人都能夠享受到新技術發展的紅利,實現技術的普惠。例如,在鄉村振興方面,本站利用人工智能等技術,打造線上線下結合的智慧文旅元宇宙,爲22個縣域新增遊客300萬;在工業生產方面,本站伏羲將人工智能、遊戲化交互、遊戲仿真等能力遷移到工程機械領域,推出國內首臺無人裝載機器人和挖掘機器人,參與到礦山、鐵路等一線場景的建設。

接下來,本站不僅將會和浙江省殘疾人福利基金會一起把這項技術提供給更多有需要的人,還會不斷探索遊戲技術外溢價值,賦予遊戲更多的社會價值和可能。