dave睡眠枪，为什么记忆是阻碍AI发展的问题？

对于网络上有很多关于为什么记忆是阻碍AI发展的题？和dave睡眠枪的题，大家的讨论关注度都比较高，就让小编为你整理一下知识点吧。

边缘计算性能的提高给内存设计、类型选择和配置带来了挑战，这也导致了各个应用市场之间更复杂的权衡。芯片架构随着新市场的发展而不断发展，但数据如何在芯片、设备和系统之间移动并不总是很清楚。汽车和人工智能应用中的数据变得越来越大、越来越复杂，但芯片架构有时不知道在处理数据时如何确定数据的优先级。

这迫使芯片设计人员在共享内存以降低成本或添加不同类型的内存以提高性能和降低功耗之间做出选择。

所有这一切都是以安全为基础，并根据市场设计有不同的要求。例如，从汽车中不同类型的图像传感器（例如激光雷达和摄像头）收集的大量数据需要在本地处理。AI芯片希望性能提升100倍。

解决内存题的方法有多种，其中之一是片上内存，这意味着内存分布并集成在计算单元旁边，以最大限度地减少数据移动。您可以减少负载和存储的数量，还可以降低功耗。

CadenceDigitalSignoffGroup高级产品经理DavePursley表示“内存计算可以是模拟的、数字的，或者两者兼而有之。内存计算的想法可能是一个不断增长的趋势，但真正的内存计算中会发生什么？”？”他说。“这些计算看起来很不同。”

SRAM和DRAM仍然是主流。

尽管市场出现新的变化，片上SRAM和片外DRAM仍然是主流。尽管一些专家预测DRAM将在几年内“消亡”，但它仍然是最经济、最可靠的选择。DRAM具有高密度、结构简单、低延迟、高性能以及耐用性和低功耗的特点。

DRAM密度增长正在放缓，但HBM2等新架构允许通过堆叠模块而不是使用DIMM来垂直增加密度。这也是一种让DRAM更接近处理单元的方法。

此外，SRAM价格昂贵且密度有限，但其高速性能已被证明多年。片上存储器面临的挑战是它是否应该分布式或共享，以及在某些情况下是否应该出于安全目的添加冗余。

“所有这些要求都会影响存储器类型和数量的选择，包括片上和片外存储器之间的权衡，以及访每个存储器互连的复杂性，”高级物联网架构师RyanLim表示。来自症。

低功耗内存是关键

内存的主要题是功耗。这里，内存类型和配置等几个因素会影响功耗。例如，由于线路上的RC延迟，从7nm存储器访数据可能会消耗更多功率。当然，这也会产生热量，可能会破坏进入和离开存储器的信号的完整性。

然而，缓慢的片外数据可以通过使用高带宽内存来节省功耗，并且可以与高速GDDR6一样快。如何做出此决定将取决于多种因素，包括设备的平均售价和您选择的存储类型。

还有针对便携式移动设备的超低功耗存储器，包括越来越多的电池供电的边缘设备。

Rambus杰出研究员StevenWoo表示“这些存储器具有非常高的性能，可以在一定程度上改善电池供电设备的功耗和数据速率。”“它们还可以在多种模式下运行，在待机模式下消耗很少的能量，并在需要处理以满足手机和平板电脑等产品的需求时快速切换到更高的性能/更高的功率。”

低功耗内存还支持多种封装方式，因此可以与手机处理器堆叠，满足智能手机的轻薄要求，也可以集成到PCB中，支持平板电脑和平板电脑的大容量内存配置要求。片剂。其他消费设备。

毫无疑，开发低功耗存储器是一项具有挑战性的任务。“当我们设计低功耗存储器时，我们支持多种速度，并且与低功耗存储器相比，这些数据速率往往相当高，”Woo说。“因为它通常是由一两个主要应用市场驱动的，所以我们需要瞄准市场大的行业，市场足够大的行业才能创造新的记忆。历史上，手机市场就是一个成功的例子。如果您与其他手机制造商交谈，他们会告诉您他们需要更高性能和更节能的内存来延长电池寿命，而对于其他想要使用低功耗内存的公司来说，他们会很感激其他公司帮助实现这一目标。”。

一般来说，这些经过验证的存储器可以以几种不同的数据速率运行，但它们的速度非常相似。“其中一个内存可能是每秒42GB，另一个可能是32GB。这使得内存制造商在生产所有这些内存时可以进行称为分层的操作。当某些部件性能不佳时，他们可以这样做。事情发生。”“但是，制造商仍然出售这些内存，因为一些客户被迫以较低的价格购买性能较差的内存。分箱数据合并允许这种情况。这些产品的性能都在一定范围内合格。这个产品拥有这一切。”

记忆如何影响人工智能的发展？

人工智能在几乎所有新技术中都扮演着重要的角色，而记忆在人工智能中扮演着重要的角色。超快、超低功耗是芯片一直追求的目标，但由于空间有限，它并不总是有效。然而，这也许可以解释为什么数据中心和训练中使用的人工智能芯片比端点推理设备中使用的芯片更大。另一种方法是减少一些片外存储器芯片以增加数据吞吐量，并根据设计减少与存储器的距离或片外数据流。

在这两种情况下，片外存储器的竞争主要归结为DRAM-GDDR和HBM。

“从工程和生产的角度来看，GDDR看起来与其他类型的DRAM非常相似，例如DDR和LPDDR，”Woo说。“您可以将其集成到标准PCB板上并使用类似的制造工艺。HBM是一种较新的技术，需要堆栈和中介层，因为HBM有许多较慢的连接。每个HBM堆栈使用数千个连接，从而产生高密度的互连。需要的，这远远超出了PCB的处理能力，这就是为什么一些公司使用中介层的原因-这些电线可以被蚀刻得非常靠近彼此，就像片上连接一样，允许更多的连接。你可以得到它。

HBM追求最高性能和最高效率，但成本更高，需要更多的工程时间和技术。使用GDDR，DRAM和处理器之间没有太多互连，但运行速度要快得多，这会影响信号完整性。

图1不同类型DRAM的特性。绘画

***

尽管架构发生了变化并采用了新技术，但功耗、性能和面积仍然是关键驱动因素。

“这三者都非常重要，但很大程度上取决于应用，”SiemensMentor知识产权部门总经理FarzadZarrinfar说道。“例如，如果你有一个便携式应用，功耗就非常重要。功耗本身分为动态功耗和静态功耗。一部分是动态功耗，一部分是静态功耗。如果应用到无线通信中，因为你进行大量计算时，动态功耗非常重要，但对于可穿戴应用来说，静态/泄漏功耗非常重要，因为用户从睡眠状态到唤醒状态，再到运动状态，然后再回到睡眠状态。”

浅睡眠等功能使设计人员能够显着减少泄漏。此时，非活动存储器进入源极偏置模式以减少泄漏，而其他直接访的存储器组则变为活动状态。根据设计，可以通过电源管理、Vdd管理和泄漏最小化技术在深度睡眠模式下保留数据。如果不需要保留数据，可以使用关断模式来进一步减少泄漏。

任何与电源效率相关的因素在汽车中也很重要。“电池寿命对于电动汽车来说非常重要，因此功耗也非常重要，”扎林法尔说。“人们希望在-40C到125C之间，甚至在150C时具有更高的线性度。他们不希望泄漏在更高的温度下变得更陡，他们希望保持尽可能多的线性度。同样，这非常重要。整个温度范围内的功率范围。这是要注意消耗和泄漏。”

无论何种应用，功耗仍然是一个关键考虑因素。“我们看到SoC设计正在向更小的尺寸发展，”他说。“内存消耗在增加，嵌入式内存的容量也在增加。现在我们有超过50个内存管芯。所以人们必须关注内存功耗。”

图2平均晶圆面积，1999-2023年

因此

尽管有许多创新技术和创新架构，内存仍然是设计的核心。相变、旋转扭矩等新型存储器即将推出，但大多数仍在各个市场中使用。最大的变化是设计如何优先级、共享、选择和最终使用现有内存。这听起来像是一个简单的题，但事实并非如此。

“选择正确的内存解决方案对于实现系统性能通常至关重要。”Synopsys高级技术营销经理VadhirajSankaranarayanan在最近发布的白皮书中指出，这说起来容易做起来难。