(資料圖片僅供參考)
【環球網科技綜合報道】近日,中國科學院自動化研究所“紫東太初”大模型研究中心常務副主任、武漢人工智能研究院院長王金橋研究員介紹,基于華為全棧國產化軟硬件平臺昇騰AI與開源AI框架昇思MindSpore,中國科學院自動化研究所和武漢人工智能研究院正在聯合打造 “紫東太初”2.0全模態大模型,可實現文本、圖片、語音、視頻、3D點云、傳感信號等不同模態的統一表征和學習,助推通用人工智能時代加速到來。
據悉,2019年開始,自動化所在語音、文本、圖像等單模態大模型研究和應用基礎上,瞄準多模態大模型領域開始聯合攻關,并于2021年7月正式發布了全球首個千億參數多模態大模型“紫東太初”,以多模態技術探索通用人工智能發展道路。
區別于當前以文本為主的大部分語言大模型,“紫東太初”大模型在研發之初即堅持以多模態技術為核心,利用圖-音-文等更多類型數據進行跨模態的統一表征和學習,實現了圖像、文本、語音三模態數據間的“統一表示”與“相互生成”,使人工智能大模型的理解和生成能力更加接近人類,為貫通多模態人工智能行業應用提供了創新基礎,向通用人工智能邁出關鍵一步。
在“紫東太初”1.0應用推廣過程中,除了需要處理海量語音、圖像和文本等互聯網信息外,更需要處理多種傳感器、3D點云及視頻等物聯網海量數據,才能滿足現實生產力的提高。針對數字物聯時代的新需求與新趨勢,中科院自動化研究所研究探索全模態大模型體系架構和基礎算法,持續推動“紫東太初”技術和應用發展。
在文本、圖片、音頻、視頻的基礎上,“紫東太初” 2.0可融入3D、視頻、傳感信號等更多模態數據,并優化語音、視頻和文本的融合認知以及常識計算等功能,進一步突破感知、認知和決策的交互屏障,讓人工智能從感知世界進化為認知世界。
責任編輯:Rex_08