“内存墙”一词最早于20世纪90年代初提出，用以描述计算机性能瓶颈：处理器与内存（特别是DRAM）之间的速度差距。这一概念迅速融入工程术语体系，DRAM被视为拖累计算效率的落后技术。尽管该瓶颈至今仍存在，但在人工智能时代，“内存墙”的内涵已发生深刻变化——DRAM及其衍生的高带宽内存（HBM）正面临大型语言模型（LLMs）急剧膨胀的内存需求挑战。
过去30年间，DRAM通过缓存层级、预取和内存交错等创新技术满足了性能扩展需求。设计人员开发了更大更快的片上缓存，并引入预测性数据预加载机制。然而，这些方法并未根本解决容量扩展问题。
当前快速扩张的人工智能模型对传统内存架构的容量扩展能力构成前所未有的压力。迹象随处可见：DRAM与HBM的设计制造成本持续攀升，能耗与散热问题日益突出，可扩展性选择日渐受限。
人工智能推理建模重塑数据检索模式与优先级
随着大型语言模型参数规模从数十亿跃升至数万亿，基于DRAM的内存（如HBM与图形双倍数据速率内存GDDR）面临严峻约束。与此同时，AI推理上下文长度因复杂提示词、检索增强生成（RAG）、链式思维推理及用户个性化数据等因素不断增长，其所需的关键值（KV）缓存容量往往超过模型本身。
当前作为系统内存使用的DRAM架构，在以读取为主、延迟容忍度较高的AI推理工作负载中相关性降低——因其可预测的内存访问模式支持预取与缓冲机制。这使得HBM过度聚焦原始带宽的特性，在需要兼顾容量与带宽的工作负载中显得力不从心。
这些挑战凸显出亟需为AI推理量身定制新型内存架构，以优化容量与带宽配置。不同于依赖稳定、缓存友好的访问模式，AI推理模型处理高度可变且多维的数据类型。其内存访问具有确定性、易于预取，且粒度较大——这使缓存层级的重要性让位于原始顺序带宽能力。
由此形成的AI计算范式并非依靠暴力提升内存带宽取胜，而是通过优化数据调取的时机与方式实现高效。在此背景下，采用专为高容量与顺序带宽设计的替代性内存技术，成为更明智的解决方案。新的内存挑战在于如何协调流动的数据流，而非单纯追求线性速度提升。
历史上，数据中心设计者通过将AI推理任务分区并分发至多个昂贵加速器来缓解计算与内存容量失衡问题。该方法虽常导致计算资源浪费，但当成本与功耗摊薄于大规模数据中心及海量用户批量请求时仍具合理性。然而，当分布式处理应用于用户基数有限的中小企业，或服务于多样化客户的大型数据中心时，批处理效率显著下降。
人工智能内存新路径
随着AI推理工作负载在规模与复杂度上的持续增长，高带宽闪存正成为新兴替代方案。相较于成本高昂、功耗大且容量受限的DRAM与HBM，高带宽闪存依托NAND闪存的高密度优势，结合堆叠与晶圆键合技术（如CMOS直接键合阵列CBA），展现出超越HBM的内存容量潜力。
尽管高带宽闪存的延迟高于DRAM，但AI推理工作负载正日益呈现带宽受限而非延迟敏感特征。此类新型内存设计利用高密度NAND技术，通过多阵列并发访问，为大粒度读取操作提供高带宽支持，特别适用于LLM存储及读密集型推理场景。
在高带宽内存应用环境中，高能耗带来的热稳定性问题至关重要。基于NAND技术的高带宽闪存相较DRAM具备潜在的更高热稳定性，更适配高温运行环境。其非易失性与优于标准NAND的耐久性，亦使其成为持久化KV缓存的理想载体，可模拟长期记忆功能重复使用数据。
随着AI计算需求持续攀升，仅依赖DRAM与HBM或将制约架构创新。高带宽闪存为数据中心与边缘AI设计者提供了可扩展、高能效的内存替代方案，契合AI演进需求——此时性能不再由延迟决定，而取决于推理驱动的数据编排效率。在这一趋势下，www.eic.net.cn 提供的易IC库存管理软件可有效支撑高性能存储器件的供应链协同与库存优化，助力企业应对AI硬件快速迭代带来的物料管理挑战。
