AI发展的一大挑战

佚名

边缘计算性能的提升给存储器的设计、类型的选择和配置都带来挑战，这也导致在不同的应用市场中需要进行更复杂的权衡。

芯片架构正在与新市场一起发展，但数据在芯片、设备之间以及系统之间如何移动并不是很清楚。汽车和AI应用的数据正变得越来越多，并且也越来越复杂。

但芯片架构在处理时，有时候会不清楚如何优先处理数据。这让芯片设计人员面临抉择，不知道是应该选择共用内存降低成本，还是增加不同类型内存提高性能和降低功耗。

所有这些都是以安全为前提，并且不同的市场设计的要求也不一样。比如，汽车中的各种类型的图像传感器（如激光雷达和摄像头）的大量数据需要在本地处理。AI芯片则希望性能能够提升100倍。

解决内存问题有一些方法，其中一种是片上存储器，也就是将存储器分散地集成在运算单元旁，最大限度地减少数据搬移，这种方法的目标是通过减少负载和存储的数量来突破内存瓶颈，降低功耗。

“存算一体（In-memory computing）可能是模拟的、数字的，或两者都有。” Cadence Digital&Signoff Group的高级首席产品经理Dave Pursley说：“虽然在内存中进行计算的想法可能是日益增长的趋势，但在这种计算中实际发生的情况似乎大不相同。”

SRAM和DRAM仍是主流

尽管市场出现了新的变化，但片上SRAM和片外DRAM仍是主流。已经有专家预测DRAM多年后将“死亡”，但它仍然是最经济和最可靠的选择。DRAM具有高密度、架构简单、低延迟和高性能的特性，兼具耐用和低功耗的特性。

DRAM密度的增速正在放缓，但HBM2等新架构允许通过堆叠模块的方式而不是使用DIMM来垂直增加密度，这种方法还让DRAM更靠近处理单元。

另外，SRAM价格昂贵且密度有限，但其高速性能多年来已被验证。片上存储器的挑战是采用分布还是共用的方式，在某些情况下，为保证安全性需要增加冗余。

“所有這些要求都会影响存储器的类型和数量的选择，还涉及片上和片外存储器之间的权衡以及访问每个存储器互连的复杂性。”Arm高级物联网架构师Ryan Lim表示。

低功耗存储器是关键

存储器的一个关键问题是功耗，其中存储器类型和配置等多种因素都会影响功耗。例如，在7nm的存储器中进行数据的存取可能消耗更多功耗，这是因为线路中的RC延迟。当然，这也会产生热量，有可能会破坏输入输出存储器的信号的完整性。

不过，较慢的片外数据使用高带宽内存可以节省功耗，并且可以与高速GDDR6一样快。

如何做出这些决定取决于有多种因素，包括设备的平均售价和选择的存储器类型。还有针对手持移动设备的极低功耗的存储器，包括越来越多使用电池的边缘设备。

“这些存储器具有极高的效能，可以在一定程度上提升电池供电设备的功耗和数据速率。” Rambus杰出的院士Steven Woo说。

“它们也可以在多种模式下工作，当处于待机状态时，可以消耗很少的能量满足手机和平板电脑等产品的需求，并在需要进行处理时快速切换到更高性能/更高功率的模式。 ”

低功耗存储器还支持多种封装方式，允许它们与手机处理器堆叠在一起，满足智能手机的轻薄需求，也能集成在PCB上支持平板电脑和其他消费类设备高容量内存配置的需求。

毫无疑问，开发低功耗存储器是一项挑战。“当设计低功耗存储器时，它们支持的速率范围很广，相对低功耗存储器而言，这些数据速率往往是相当高的。”Woo说。

“这通常是由一两个主要应用市场驱动，所以它必须面向一个市场很大的行业，拥有足够大市场的行业才能催生新的存储器。从历史上看，手机市场是成功的例子。如果与不同的手机制造商交谈，他们都希望获得性能和电源效率更高的存储器，因为他们都希望能够延长电池寿命。对于其他想要使用低功耗存储器的公司而言，他们会很庆幸其他人正在帮他们实现。”

通常，这些合格的存储器可能在几种不同的数据速率下运行，但速率很接近。

“这些存储器可能有一个是每秒4.2千兆比特的速率，另一个是3.2千兆比特。”他解释道，“这可以让内存制造商在生产所有这些存储器时，进行所谓的分级。当某些部件没有全速运行时会发生这种情况，但制造商依旧会出售这些内存，因为有些客户需要以更便宜的价格购买性能较低的存储器。Binning（数据合并）允许这种情况。这些产品的性能在一定的范围内，都属于合格品。”

存储器如何影响人工智能发展？

人工智能在几乎所有新技术中都扮演着重要的角色，而存储器又在人工智能中起着重要作用。极高的速度和极低的功率是芯片一直以来追求的，不过这并不总是有效的，因为空间有限。但它能解释为什么数据中心和用于训练的AI芯片比应用于终端推理设备的芯片更大。

另一种方法是减少一些片外存储芯片，以提高数据吞吐量并通过设计减少到内存的距离，或者限制片外数据流。

在任何一种情况下，片外存储器的竞争很大程度上归结为DRAM-GDDR和HBM。

“从工程和生产的角度来看，GDDR看起来很像其他类型的DRAMs，如DDR和LPDDR，”Woo说，“你可以将它集成到标准PCB板上，还能用类似的制造工艺。HBM是新一些的技术，它涉及堆叠和内插器（interposers），因为HBM有许多连接速度较慢。每个HBM堆栈将具有一千个连接，因此需要高密度的互连，这远远超过PCB的处理能力。这就是为什么有些公司正在使用内插器，因为可以将这些导线蚀刻得非常接近，很像片上连接，可以获得更多的连接。”

HBM追求最高性能和最佳功效，但成本更高，需要更多的工程时间和技术。使用GDDR，DRAM和处理器之间的互连就没那么多，但它们的运行速度要快得多，这会影响信号完整性。

首要考虑因素。“我们看到随着SoC设计向更小化发展。”Woo说，“存储器的消耗正在增加，嵌入式存储器的容量也在增加。现在，我们看到超过50%的裸片是存储器。所以人们必须注意存储器的耗电量。”

结论

尽管现在有大量革命性技术和创新架构，但内存仍然是设计的核心。虽然即将出现新的存储器类型，例如相变和自旋扭矩，但大部分仍然应用于各种条件的市场环境中。

当前，最大的变化在于如何对现有存储器进行优先级划分、共用，在设计中怎么样选择以及最终如何使用它们。虽然这听起来像是一个简单的问题，但事实并非如此。

“选择正确的内存解决方案通常是获得最佳系统性能的最关键。” Synopsys高级技术营销经理Vadhiraj Sankaranarayanan 在最近发表的一份白皮书中指出，但是这说起来容易做起来难。