2023-05-30 05:32:40 作者:老王
英偉達(dá)的芯片命名很有講究,它的所有芯片系列都是科學(xué)家的名字。這一次發(fā)布的超級(jí)計(jì)算機(jī)所用的GH,就是Grace Hopper的縮寫。咱們就來說說Grace Hopper和這款芯片和它的跨時(shí)代意義。
[#zolsplit_eca_zolecjd電商推廣區(qū)域分隔符開始#]
【資料圖】
[經(jīng)銷商]
[產(chǎn)品售價(jià)]
[#zolsplit_ecb電商推廣區(qū)域分隔符結(jié)束#]
編程之母
Grace Hopper是美國計(jì)算機(jī)科學(xué)家、數(shù)學(xué)家和美國海軍少將。她是哈佛Mark I計(jì)算機(jī)的第一批程序員之一,是計(jì)算機(jī)編程的先驅(qū),發(fā)明了最早的鏈接器之一?;羝帐堑谝粋€(gè)設(shè)計(jì)出與機(jī)器無關(guān)的編程語言理論的人,她用這個(gè)理論創(chuàng)造的FLOW-MATIC編程語言后來被擴(kuò)展為COBOL,一種早期的高級(jí)編程語言,至今仍在使用。Fortran也有她的功勞。
由于當(dāng)年的計(jì)算機(jī)是電子管,會(huì)有蟲子飛進(jìn)去導(dǎo)致短路,所以Hopper發(fā)明了debug捉蟲一詞,這個(gè)詞但凡和編程有點(diǎn)淵源的人都不陌生。
為了紀(jì)念這位計(jì)算機(jī)先驅(qū),英偉達(dá)把新一代計(jì)算芯片命名為Grace Hopper。
強(qiáng)大的Grace Hopper芯片
英偉達(dá)的Grace Hopper是兩個(gè)處理器做在了一個(gè)PCB上,它分為Grace和Hopper兩部分,如下圖,一左一右。
Grace是CPU,它是ARM架構(gòu)的。
72個(gè)Arm Neoverse V2內(nèi)核,采用Armv9.0-A ISA,每個(gè)內(nèi)核4×128位SIMD單元。117MB的L3高速緩存。512GB的LPDDR5X內(nèi)存,提供高達(dá)546GB/s的內(nèi)存帶寬。64X的PCIe5.0通道。英偉達(dá)可擴(kuò)展一致性結(jié)構(gòu)(SCF)網(wǎng)狀和分布式緩存,內(nèi)存帶寬高達(dá)3.2TB/s。
Hopper是 GPU:
高達(dá)144個(gè)SM,擁有第四代Tensor Cores、Transformer Engine、DPX,與英偉達(dá)A100 GPU相比,F(xiàn)P32和FP64的整體性高出3倍。高達(dá)96GB的HBM3內(nèi)存,提供高達(dá)3000GB/s的速度。二級(jí)緩存60 MB。擴(kuò)展GPU內(nèi)存功能使Hopper GPU能夠?qū)⑺蠧PU內(nèi)存作為GPU內(nèi)存進(jìn)行尋址。每個(gè)Hopper GPU可以在一個(gè)超級(jí)芯片內(nèi)尋址多達(dá)608 GB的內(nèi)存。
NVIDIA NVLink交換系統(tǒng):
使用NVLink 4連接多達(dá)256個(gè)NVIDIA Grace Hopper超級(jí)芯片。每個(gè)連接NVLink的Hopper GPU可以尋址網(wǎng)絡(luò)中所有超級(jí)芯片的所有HBM3和LPDDR5X內(nèi)存,從而獲得高達(dá)150TB的GPU可尋址內(nèi)存,256個(gè)Grace Hopper就是英偉達(dá)的GH200超級(jí)計(jì)算機(jī)。
256個(gè)Grace Hopper有多強(qiáng)?英偉達(dá)表示它有1EB的計(jì)算能力!這是什么概念?剛剛出爐的世界超級(jí)計(jì)算機(jī)Top500排名,第一名的Frontier也就是1.1E的算力,1EB的算力,約等于Top500的25%!當(dāng)然超級(jí)計(jì)算機(jī)的算力都是針對(duì)性的,英偉達(dá)的GH200有兩大優(yōu)勢(shì):第一是量產(chǎn),第二則是針對(duì)AI推理這些的優(yōu)化,能讓大模型LLM運(yùn)行的更快,或許年底在大企業(yè)部署之后,我們使用AI的成本和速度都能得到提升。
AI被成為近40年來3D顯卡以后最偉大的發(fā)明,英偉達(dá)正是提供AI算力的企業(yè)。或許
責(zé)任編輯:Rex_30