螞蟻百靈大模型升級多模態能力

7月6日，在上海舉行的2024世界人工智能大會（WAIC）上，螞蟻集團公佈了螞蟻百靈大模型的最新進展：百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態能力，可以直接理解並訓練音頻、視頻、圖、文等多模態數據，並已深入應用於生活服務、創新醫療服務等多個領域。

百靈大模型多模態能力，具備支持規模化應用的能力，能支持AIGC、圖文對話、視頻理解、數字人等一系列任務。

在豐富的應用場景下，百靈大模型的多模態能力已經被應用在生活服務、搜索推薦、互動娛樂等場景。比如通過支付寶的智能助理，用戶可直接用語音在星巴克小程序下單咖啡；又比如在醫療領域，多模態能力可幫助用戶對超過100多種複雜的醫學檢驗檢測報告進行識別和解讀，還可以檢測毛髮健康和脫髮情況，對治療提供輔助。

以螞蟻百靈大模型爲基座模型，螞蟻的多模態醫療大模型添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫療文本語料及千萬級高質量醫療知識圖譜。

這個多模態醫療大模型不僅提供智能問答、病歷結構化和檢索、輔助診斷，還可識別解讀藥品及上百種複雜的醫學報告，進行毛髮健康檢測等，這些都能嵌入醫院等機構醫療環節全流程，創新醫療服務的同時，也助力提升機構運營效率。

在2024 世界人工智能大會上，支付寶、人民衛生出版社、北京大學醫學部、浙江省衛生健康委、廈門市衛生健康委員會、浙江省人民醫院、上海交通大學醫學院附屬仁濟醫院、北京大學人民醫院、復旦大學附屬腫瘤醫院、上海市第一人民醫院、首都醫科大學附屬醫院等20多家機構、企業，聯合發起AI醫療共建計劃，共同探索大模型應用及各類專科模型創新研發。

另外，螞蟻還發布了“隱語 Cloud”大模型密算平臺，通過軟硬件結合的可信隱私計算技術，在大模型託管和大模型推理等環節實現數據密態流轉，保護模型資產、數據安全和用戶隱私。“隱語 Cloud”大模型密算平臺提供公有云和專有云交付方案，支持市面上主流的通用大模型。

上游新聞記者 楊昕華