5月23日，36氪舉辦「顛覆·AIGC」產業發展峰會。本次峰會匯聚產業力量，共同探討企業、行業在面臨變革時的應對策略，分享思考，探索和發現產業中最具潛力的企業與最具價值的技術，在激蕩的環境中探尋前行的方向。
大會上，燧原科技創新研究院院長、首席科學家姚建國教授發表了題為《新一代AIGC算力底座》的主題演講，從算力視角分享了自己在大模型發展歷程中的見聞。姚建國教授坦言，大模型的快速發展已超出意料，兩年前關于大模型落地的解決方案仍不夠明晰，但目前看來大模型用武之處頗多。姚建國教授也表示，大模型的發展不是一蹴而就，而算力是大模型發展的重要助推器。
同時，姚建國教授進一步指出，國內芯片技術與軟件生態建設較國外仍有差距。首先，隨著智能算力的需求增加，利用系統級設計解決大模型算力可能會成為未來的發展方向；其次，軟件生態產業應構建國內軟件生態，尋求與國際創新體系相結合。最后，產業界的內部合作將加速算力基礎設施落地商用，共同推動國產算力發展。
【資料圖】
燧原科技創新研究院院長、首席科學家姚建國教授
以下為姚建國演講實錄（經36氪整理編輯）：
我本身在燧原科技和上海交大兩個單位，所以整個算力視角，我會從產業界、學術界包括研究界的角度分享一下。
其實算力的主要分為需求、場景、芯片和系統四個層次。2022年左右有多少朋友相信大模型落地？我和很多朋友分享過，也討論過整個后續大模型發展，大模型真正有一個算力之問，模型越大真的能夠提升算力水平嗎？
其實這個問題2023年之前，很多朋友都不信，為什么呢？因為我們原來很多小的模型都能解決我們的問題，比如說原來NLP、CV也好都是通過經典模型解決。模型越大，能力越強，泛化越好，就有能力解鎖新的技能，這是出乎很多人意料的一個期望，最終2023年，現在很多人相信了。所以很多發展原來受限于算力、模型、軟件硬件迭代式交互結果，這也是大家熟悉的發展歷程。
谷歌2017年提出Transformer，把Attention機制介紹到學術界， OpenAI整個發展歷程通過了好幾代迭代。整個過程不是一蹴而就的，模型不停迭代去做。在大模型開始之初是有極大風險的，他們自己都不太相信，或者是懷疑這個能做到什么樣的程度，通過了幾代的迭代，去年年底開始有了突破性的成果。所以我們還是期望國內有一款對標ChatGPT的通用大模型，我們能夠愿意付費使用，這樣會對整個產業有重大的推動作用。
這個過程中，算力起到什么作用呢？一般來講都說，大模型的參數很多，參數很多時候算力要求很大。比如OpenAI的開放文獻中提到：3640PFLOS天，這個相當于1萬張A100加速卡的算力水平。可以看到真正通用大模型算力水平是通過大量算力去做，也因此ChatGPT的投入巨大，風險巨大。
2020年之前從研究界一直關注Transformer模型，Transformer相關一些機制到NLP解決，后來移到CV上，當然CV還在提升精度。從整個發展水平和發展規律來看，算力在整個大模型基礎設施里面起了重大推動作用。埃隆馬斯克要做，首先買了一萬張GPU卡，這個是基本的配置。
算力的種類很多，包括通用算力、超算、智算，通用算力就是我們用的云計算；超算方面，比如說天氣預報、超算中心；智能計算這幾年的發展呈指數級增長，超越了摩爾定律。2012-2018年AI訓練算力增長了30萬倍，而通用計算增長只有7倍，所以說從算力發展來講，目前算力水平包括算力需求的話還是智能計算為主的計算發展趨勢。
我記得前兩年去企業交流時，很多人都在問，大模型怎么落地？當時我也不知道，但現在看來都覺得哪兒都可以落地，所以說很多發展，都是在意料之外的發展。這個意料之外的過程中，我們怎么去找一下規律，看一下未來國內機會哪，我們沿著別人走過的路，能夠找一些其他的方向發展，所以整個發展是生成能力改變了生產力的智能。
什么叫生產力智能？就是能夠幫我們人類做很多事情，能夠解決生產力問題，我本人負責研究生，我們在研究生培養里面，今年開始改了一些考試規則，比如說研究生復試編程，如果GPT能做出來，研究生就不需要學了，這樣考試內容基本不能和GPT能力相當，人類還是要解決復雜問題的，通用的基本智能，可以交給機器去做，這個很多是生成能力，未來會給大家很多想象空間。
這里就有算力需求，不同的算力需求應對不同的大模型，基礎大模型，場景大模型和應用大模型。基礎大模型與ChatGPT類似，是很基礎，是通過巨大的算力生成模型，通過預訓練，由超大算力去支撐。這一般都是巨大的智算中心去做的，小的智算中心還達不到要求。
場景大模型是在大模型的基礎上做調優，可以適用到不同的應用場景，賦能到不同行業，可以用普惠訓練算力做。
還有應用大模型，主要是推理算力，是相對來講性價比比較高的算力。推理現在有兩種趨勢，一個云端推理調用一下返回來；另外還有端側，現在開始要有，本身的大模型部署開始往端側做。
還有就是“模型即服務”，這個事已經發展很久了，但是發展并不好，原來我們AI這個通用一些自動化AI算法，有很多的BAT都做過，但用下來之后，包括客戶反饋是一般的。但如果“模型即服務”是通過通用人工智能提供的話，可以帶來不同一些體驗，比如文字生成圖。
所以我們一致認為，AIGC給大家帶來全民體驗AI能力，這個非常重要，現在我們大街上隨便找人都可以說AI能力這個事情，因為都體驗過。這就是很多“模型即服務”能力部署的范圍提供。
我們再看一下芯片，上個月上海學術界做一個討論，大模型我們差多遠？學術界給的說法至少差一代，芯片當然也差，只有知道差在哪以后我們才有能力追趕。不管是模型、算法也好，還是芯片能力也好，國內一直以來都在講追趕。
智能芯片目前還是英偉達占統治地位，這個是不可否認事實，而且大家看到全球AI芯片的增長的話，是快速的增長，因為智能算力的需求在增加，智能算力主要芯片載體就是AI計算加速卡，叫GPU、DSA也好，都是AI算力的特定計算。
從市場來講還是有很大需求，但是我們怎么辦呢？其實我們要深刻看一下歷史發展，和我們將來發展路徑一個耦合度，比如超算。超算也是做大系統，主要靠互聯去解決大算力問題，這樣的話能夠實現E級計算。它的重要特點就是單核能力差，系統能力相當，我單個打不過你整個系統還是可以，因為它實現了整體算力。
智能計算未來類似芯粒，單die算力有限，但是系統級設計包括互聯能夠解決大模型算力這種智算水平，未來很可能往這個方面發展。
最近很多的研究、初創企業都在提系統級創新，包括AMD、英特爾都在提，這是技術的趨勢。系統級創新的問題來源于算力水平，不僅僅是單顆芯片解決，一定是通過系統解決方案去實現整個算力的變化。
目前存儲和運算的性能提升很多，但是帶寬提升有限，有一個9萬倍計算性能提升，但是有一個30倍帶寬性能提升，這肯定是不匹配的，未來會有通信瓶頸。所以要去解決高速通訊下實現高速互聯，高速互聯實現可擴展智算水平的問題。
另一方面，現在功耗太大，大家知道智算中心其實都是高耗能產業。解決這種高能效一些計算，比如英特爾做了7nm以下數據搬運，能夠占63%的能耗水平?，F在很多大模型計算都是數據密集型的計算，因此它的能耗會很高。另外大模型需求還要去做專門的加速，剛才咱們看到大模型發展從技術來講可以追溯到2017年谷歌發的Attention的文章，那篇文章在模型上提供了一個專門的算法，現在包括英偉達在內的各類加速設備，都在做專門的加速，針對特定模型、特定算子，特定的計算范式可以做專門加速，整個實現模型算力就會有這種呈指數提高，這就是系統性創新。
另外整個智算系統的發展趨勢來講，芯片還是要大算力，高速互聯下的高算力，這個能夠實現系統級的解決方案。目前來講單獨的服務器、單獨的集群無法解決大模型預訓練，但推理還是可以的。預訓練會有一些專門加速，比如說H100提供Transformer引擎，提供低精度的數據格式，這樣也是提升算力利用率。這里還有很多互聯創新，所以未來會有很大創新是集中在系統級層面。
此外還有生態，軟件生態其實是我們產業最關心一件事情。前段時間討論，軟件生態提了好多年了，為什么軟件生態還沒有成長起來？現在大家都認為做軟件生態，首先是在國內包括研究界自己要把軟件生態產業支撐起來，并與國際創新體系相結合。
所以說，還是在開放的軟件生態下，去做類似于大模型編程，現在出了新的編程模型，包括編程方法，支撐大模型更有效地、更容易地編程。這也是智算系統的發展趨勢。
燧原科技是做整個算力的基礎設施和數字底座，有芯片、軟件、系統，包括解決方案，目前AI芯片主要還是兩類，是第二代訓練和第二代推理，現在已經實現了整個算力集群的部署。由于集群都需要高速互聯，我們也實現了自己的協議高速互聯，替代原有協議，這樣可以實現多機多卡，實現大規模千卡以上互聯下的集群算力。
同時，燧原也提供了液冷智算集群的解決方案，實現了低能耗、高能效。目前已經在智算中心、泛互聯網、以及智慧城市和金融的人工智能應用場景里落地商用了。未來也是需要我們和產業界朋友一起推動國產算力發展，構筑新一代AIGC的算力底座。
責任編輯：Rex_26
營業執照公示信息