深度解析三星內(nèi)存處理技術(shù)（PIM）

在2023年的Hot Chips大會上，三星介紹了內(nèi)存處理技術(shù)（PIM），并介紹了新的研究和發(fā)展成果，三星將這項技術(shù)放在了人工智能的背景下進行了展示。

●? CPU計算-提高速度

在Hot Chips 2023上，三星展示了內(nèi)存技術(shù)，內(nèi)存的主要成本是將數(shù)據(jù)從各種存儲和內(nèi)存位置傳輸?shù)綄嶋H的計算引擎。

三星正在嘗試為不同類型的內(nèi)存添加更多通道或通路，但這種方法存在一定的局限性。

正在研究CXL技術(shù)非常有幫助，允許重新配置PCIe線路的用途，提供更大的內(nèi)存帶寬。

GPT的瓶頸問題，主要圍繞計算溢出和內(nèi)存限制工作負載進行了分析。

主要目標：ChatGPT中使用的Transformer模型，GPT-3中的線性層，以及多頭注意力（MHA）和前饋網(wǎng)絡(luò)（FFN）中的線性層。

關(guān)注生成階段中的內(nèi)存瓶頸 - 由于其內(nèi)存限制和順序特性，生成階段在GPU上表現(xiàn)出較差的性能。

GPT的工作負載包括摘要生成（計算密集型）和文本生成（內(nèi)存密集型）部分。GEMV（Generalized Matrix-Vector Multiplication）部分可能占據(jù)總生成延遲的60-80%，這正是PIM/PNM的優(yōu)化目標。

接下來的分析側(cè)重于利用率和執(zhí)行時間等方面的工作，大部分執(zhí)行時間都用于從主機CPU內(nèi)存到GPU內(nèi)存的內(nèi)存復(fù)制操作。與GEMV（Generation階段的Generalized Matrix-Vector Multiplication）相比，執(zhí)行GEMV操作的利用率非常低。隨著輸出標記數(shù)的增加，GEMV操作在推理時間中占據(jù)主導(dǎo)地位。

三星展示了如何將部分計算管道卸載到內(nèi)存處理（PIM）模塊上。這種處理方式可以節(jié)省數(shù)據(jù)傳輸?shù)紺PU或xPU的成本，降低功耗。GPT的生成階段需要高容量和高帶寬的內(nèi)存。多頭自注意力（MHA）和前饋網(wǎng)絡(luò)（FFN）可以完全卸載到PIM/PNM上，充分利用PIM/PNM提供的全部帶寬。PIM/PNM可以顯著減少推理過程中花費的時間和能源。

在提到內(nèi)存方面，三星展示了他們的高帶寬內(nèi)存HBM-PIM，與之不同的是，AMD的MI100使用的是標準的PIM。三星和AMD的MI100都采用了HBM-PIM，而不僅僅是標準PIM，這樣就可以構(gòu)建一個集群，聽起來就像是由12個節(jié)點和8個加速器組成的集群，用于嘗試新的內(nèi)存技術(shù)。