闪迪在本周的投资者日演示中引起了一些争议。这本应是一次例行公事，但演示中的一些幻灯片，充斥着不准确信息和关键信息的遗漏，在社交媒体上引起了技术圈的广泛讨论。

闪迪宣称每个GPU的HBM容量为192GB，并将其带宽低估为12.8TB/s，却对HBF的写入耐久性问题只字未提。

AI模型主要由一系列变换器块构成，这些块包括两个核心组件：注意力层和前馈网络（FFN）。

目前，模型权重和KV缓存都存放在HBM中。不过，HBM堆栈是直接焊接在GPU旁边，内存容量有限。

高带宽闪存（HBF）可能是一个解决方案。闪迪正与SK海力士合作开发HBF标准，预计提供512GB存储空间和0.4TB/s至3TB/s的带宽，计划在2028/2029年推向市场。

但NAND单元的问题在于其速度慢如乌龟。SRAM的读取速度大约为1纳秒，DRAM为100纳秒，而NAND则高达100微秒，这意味着NAND的读取速度比基于DRAM的HBM慢1000倍。

尽管如此，HBF通过并行技术大幅提升了带宽。

但HBF仍无法解决NAND的写入速度慢和写入耐久性差的问题。

闪迪在演示中忽略了准确性和最佳实践。考虑到HBF将在2028/2029年推出，它本应与16Hi HBM4E进行对比，后者很可能成为当时的主流HBM解决方案。

闪迪选择了bf16作为量化方式，而大多数模型现在使用的是fp8或fp4。

闪迪没有提及HBF的写入耐久性，这是一个重大疏忽，可能会让这项技术不适合用作KV缓存。