12月3日消息，芯智訊消息，阿里巴巴法學(xué)院計(jì)算機(jī)技術(shù)實(shí)驗(yàn)室成功研發(fā)出全球[敏感詞]基于DRAM的3D膠合棧計(jì)算存儲(chǔ)一體化AI芯片。 該芯片可突破馮諾依曼架構(gòu)的性能瓶頸，滿足人工智能等場景對高帶寬、大容量內(nèi)存、[敏感詞]算力的需求。 在部分AI場景下，芯片性能提升10倍以上，能效比提升高達(dá)300倍。

達(dá)摩院存算一體芯片（芯智訊拍攝）

為何研發(fā)存算一體芯片？

從計(jì)算機(jī)誕生起，計(jì)算機(jī)系統(tǒng)就是在馮·諾依曼架構(gòu)下運(yùn)行。在馮·諾伊曼架構(gòu)中，計(jì)算與內(nèi)存是分離的，計(jì)算單元從內(nèi)存中讀取數(shù)據(jù)，計(jì)算完成后再存回內(nèi)存。特別是隨著人工智能等對性能要求極高的場景爆發(fā)，傳統(tǒng)的馮·諾依曼架構(gòu)的短板開始凸顯，例如功耗墻、性能墻、內(nèi)存墻的問題。

造成這一問題的原因主要有兩點(diǎn)：

一是數(shù)據(jù)搬運(yùn)帶來了巨大的能量消耗。數(shù)據(jù)顯示，在傳統(tǒng)架構(gòu)下，數(shù)據(jù)從內(nèi)存單元傳輸?shù)接?jì)算單元需要的功耗是計(jì)算本身的約200倍，因此真正用于計(jì)算的能耗和時(shí)間其實(shí)占比很低。

二是內(nèi)存性能的發(fā)展遠(yuǎn)遠(yuǎn)滯后于處理器的發(fā)展。目前，處理器的算力以每兩年3.1倍的速度增長（AI對于算力的需求每兩年提升750倍），能夠處理器的數(shù)據(jù)量也快速增長，但是內(nèi)存的性能每兩年只有1.4倍的提升。

也就是說，即使處理器每秒能夠處理3.1倍的數(shù)據(jù)量，但是由于處理器從內(nèi)存中存取數(shù)據(jù)都是經(jīng)過同一條內(nèi)存總線訪問，而這個(gè)內(nèi)存總線如果最多只能通過1.4倍的數(shù)據(jù)量，這也意味著處理器也只能處理1.4倍的數(shù)據(jù)量。內(nèi)存性能限制了處理器性能的提升。

目前內(nèi)存性能的提升速度嚴(yán)重滯后于處理器性能提升的速度，這就好比一個(gè)漏斗，寬的一端是處理器，而狹窄的一端則是存儲(chǔ)器，后者的性能極大地影響了數(shù)據(jù)傳輸?shù)乃俣龋@也被認(rèn)為是傳統(tǒng)計(jì)算機(jī)的阿克琉斯之踵。這一點(diǎn)在AI/HPC計(jì)算領(lǐng)域尤為明顯。

如果要突破內(nèi)存墻的瓶頸，就需要一個(gè)很好的從系統(tǒng)到芯片的硬件解決方案。而存算一體芯片則是目前解決該問題的[敏感詞]途徑。

存算一體芯片的架構(gòu)類似于人腦，將數(shù)據(jù)存儲(chǔ)單元和計(jì)算單元融合為一體，大幅減少數(shù)據(jù)搬運(yùn)，從而極大提高計(jì)算并行度和能效。這一技術(shù)早在90年代就被提出，但受限于技術(shù)的復(fù)雜度、高昂的設(shè)計(jì)成本，以及缺少應(yīng)用場景，過去幾十年業(yè)界對存算一體芯片的研究進(jìn)展緩慢。隨著AI場景的爆發(fā)，業(yè)界迫切需要該技術(shù)來解決算力瓶頸，達(dá)摩院希望通過自研創(chuàng)新技術(shù)解決業(yè)界難題。

如何實(shí)現(xiàn)“存算一體”？

目前實(shí)現(xiàn)“存算一體”主要有三種技術(shù)路線：

1.  近存儲(chǔ)計(jì)算（Processing Near Memory）：計(jì)算操作由位于存儲(chǔ)芯片外部的獨(dú)立計(jì)算芯片完成。

2.  內(nèi)存儲(chǔ)計(jì)算（Processing In Memory）：計(jì)算操作由位于存儲(chǔ)芯片內(nèi)部的獨(dú)立計(jì)算單元完成，存儲(chǔ)單元和計(jì)算單元相互獨(dú)立存在。

3. 內(nèi)存執(zhí)行計(jì)算（Processing With Memory）：存儲(chǔ)芯片內(nèi)部的存儲(chǔ)單元完成計(jì)算操作，存儲(chǔ)單元和計(jì)算單元完全融合，沒有一個(gè)獨(dú)立的計(jì)算單元。

其中，近存計(jì)算通過將計(jì)算資源和存儲(chǔ)資源距離拉近，實(shí)現(xiàn)對能效和性能的大幅度提升，被認(rèn)為是現(xiàn)階段能解決內(nèi)存墻問題的[敏感詞]途徑。達(dá)摩院本次也是沿著這一方向進(jìn)行突破。

達(dá)摩院有哪些技術(shù)創(chuàng)新？

目前HBM是將內(nèi)存和計(jì)算結(jié)合在一起的主要方案之一，但該技術(shù)受限于單位容量帶寬不足和功耗高的缺點(diǎn)，無法有效解決內(nèi)存墻問題。

而混合鍵合(Hybrid Bonding)的3D堆疊技術(shù)擁有高帶寬、低成本的特點(diǎn)，被認(rèn)為是低功耗、近存計(jì)算的完美載體之一。

此次，達(dá)摩院研發(fā)的芯片首次采用混合鍵合(Hybrid Bonding)的3D堆疊技術(shù)——將邏輯計(jì)算芯片和DRAM存儲(chǔ)芯片face-to-face地用特定金屬材質(zhì)和工藝進(jìn)行互聯(lián)，實(shí)現(xiàn)了炒高片上內(nèi)存帶寬，炒高密度片間互聯(lián)。

最終的測試芯片顯示，這種存算技術(shù)和架構(gòu)的優(yōu)勢明顯，能通過拉近存儲(chǔ)單元與計(jì)算單元的距離增加帶寬，降低數(shù)據(jù)搬運(yùn)的代價(jià)，緩解由于數(shù)據(jù)搬運(yùn)產(chǎn)生的瓶頸，而且與數(shù)據(jù)中心的推薦系統(tǒng)、圖神經(jīng)網(wǎng)絡(luò)、大規(guī)模NN訓(xùn)練，對于帶寬/內(nèi)存的需求完美匹配。

據(jù)芯智訊此前在云棲大會(huì)“前沿計(jì)算技術(shù)突破論壇”上的了解的信息顯示，該存算一體芯片的片上內(nèi)存帶寬可高達(dá)37.5GB/s/mm²，相比傳統(tǒng)芯片，可提供

20倍以上片上內(nèi)存容量和100倍以上內(nèi)存能效比提升。在典型的實(shí)際應(yīng)用中，可實(shí)現(xiàn)10倍以上的性能提升和300倍的能效提升。

在設(shè)計(jì)方面，該芯片內(nèi)存單元采用異質(zhì)集成嵌入式DRAM，擁有超大內(nèi)存容量和超大帶寬優(yōu)勢；計(jì)算芯片方面，達(dá)摩院研發(fā)設(shè)計(jì)了流式的定制化加速器架構(gòu)，對推薦系統(tǒng)進(jìn)行“端到端”加速，包括匹配、粗排序、神經(jīng)網(wǎng)絡(luò)計(jì)算、細(xì)排序等任務(wù)。這種近存架構(gòu)也有效解決了帶寬受限的問題，最終內(nèi)存、算法以及計(jì)算模塊完美融合，大幅提升帶寬的同時(shí)還實(shí)現(xiàn)了超低功耗，展示了近存計(jì)算在數(shù)據(jù)中心場景的潛力。

得益于技術(shù)的創(chuàng)新性，該芯片的研究成果已被ISSCC 2022收錄。目前，達(dá)摩院在存算一體架構(gòu)方向上擁有大量領(lǐng)先成果，在ISCA、MICRO、HPCA等[敏感詞]計(jì)算機(jī)體系結(jié)構(gòu)會(huì)議上發(fā)表多篇論文。

存算一體芯片在海量數(shù)據(jù)計(jì)算場景中擁有天然的優(yōu)勢，在終端、邊緣端以及云端都有廣闊的應(yīng)用前景。例如VR/AR、無人駕駛、天文數(shù)據(jù)計(jì)算、遙感影像數(shù)據(jù)分析等場景中，存算一體芯片都可以發(fā)揮高帶寬、低功耗的優(yōu)勢。從長遠(yuǎn)來看，存算一體技術(shù)還將成為類腦計(jì)算的關(guān)鍵技術(shù)。

針對這一技術(shù)未來有何研發(fā)和應(yīng)用規(guī)劃？

目前，全行業(yè)對集成存儲(chǔ)-計(jì)算機(jī)芯片技術(shù)的研究還處于探索階段，在工藝成熟度、典型應(yīng)用和應(yīng)用等方面尚不成熟。 '生態(tài)系統(tǒng)。 法學(xué)院希望逐步攻克技術(shù)難題。 內(nèi)存芯片通過縮短存儲(chǔ)單元與計(jì)算單元之間的距離，增加帶寬，降低了數(shù)據(jù)處理的成本，緩解了數(shù)據(jù)處理帶來的瓶頸。 未來，法學(xué)院將在存儲(chǔ)方面征服更多的計(jì)算機(jī)技術(shù)。 在應(yīng)用方面，未來我們將與阿里巴巴內(nèi)部運(yùn)營緊密合作，逐步適配和優(yōu)化內(nèi)部AI應(yīng)用場景。 

免責(zé)聲明：本文轉(zhuǎn)載自“芯智訊”，本文僅代表作者個(gè)人觀點(diǎn)，不代表薩科微及行業(yè)觀點(diǎn)，只為轉(zhuǎn)載與分享，支持保護(hù)知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載請注明原出處及作者，如有侵權(quán)請聯(lián)系我們刪除。

公司電話：+86-0755-83044319
傳真/FAX：+86-0755-83975897
郵箱：1615456225@qq.com
QQ：3518641314 李經(jīng)理  

QQ：202974035   陳經(jīng)理

地址：深圳市龍華新區(qū)民治大道1079號(hào)展滔科技大廈C座809室