半导体周报0107-半导体之存算一体
半导体周报-0107
一、行业新闻及动态：
1、半导体设计：
《科创板日报》26日讯，澜起科技披露调研纪要显示，DDR5内存接口芯片的子代迭代已正式开启，其迭代速度较DDR4世代明显加快。2023年第三季度，公司DDR5第一子代RCD芯片需求量持续提升，第二子代RCD芯片开始规模出货，将在明年持续提升。第三子代RCD芯片已于10月在业界率先试产，同时公司正开展DDR5第四子代RCD芯片的工程研发。从2024年开始，公司的几个新产品将逐步上量，包括PCIe 5.0 Retimer芯片、MRCD/MDB芯片、MXC芯片、CKD芯片等。
2、半导体制造及封测：
《科创板日报》29日讯，沪硅产业公告，子公司上海新昇半导体科技有限公司拟与太原市人民政府、太原中北高新技术产业开发区管理委员会签订《关于半导体硅片材料生产基地项目合作协议》，投资建设“300mm半导体硅片拉晶以及切磨抛生产基地”，本项目计划总投资为91亿元。
《科创板日报》28日讯，台积电日前在2023年IEEE国际电子元件会议上，发布进军至1nm制程的产品规划蓝图。预计到2030年，在3D封装内提供超过1兆个晶体管，且公司正在开发在单体式（monolithic）架构包含2000亿个晶体管的芯片。为了实现这一目标，该公司重申正在致力于发展2nm级N2和N2P生产节点、1.4nm级A14和1nm级A10制造工艺，预计将于2030年完成。
3、其他：
《科创板日报》26日讯，鉴于全球经济放缓和存储需求低迷，三星电子预计2023年半导体相关业务亏损将超过13万亿韩元，这标志着三星电子首次连续四个季度亏损。随着存储价格在2023下半年反弹，加上客户存储库存耗尽，导致三星半导体业务亏损在2023年第四季度趋于收敛。三星预计2024年半导体业务将得到改善，目标不仅是扭亏为盈，而且年营业利润将超过12万亿韩元。
《科创板日报》29日讯，由于半导体及光伏产业扩张，石英的价格明年将继续上涨。据韩媒援引业内人士消息称，工业石英供应商已通知，明年供货价格将上涨20%。由于石英短缺等原因，石英价格持续上涨，今年石英价格上涨了约15%。
《科创板日报》27日讯，TrendForce日前在《2023年全球光刻胶市场分析》中指出，预估2023年半导体光刻胶市场销售收入同比下降6%-9%。随着下游客户库存的持续改善、产能利用率逐步恢复，AI、智能汽车等应用发展，预计半导体行业将在2024年经历复苏；届时半导体光刻胶市场也有望反弹，市场规模将恢复到2022年历史峰值，并进一步增长，到2027年将超过28亿美元。
二、本周话题——算力架构之存算一体
传统的人工推理芯片解决方案将训练好的权重值存储在外部的存储器 DRAM 中，CPU 或 GPU 做推理运算时不停地调用 DRAM 中的数据，并将中间数据实时存回。这种架构被称为传统冯·诺伊曼架构，冯氏架构以计算为中心，计算和存储分离，二者配合完成数据的存取与运算。
冯·诺伊曼计算架构
资料来源：《存算一体白皮书（2022 年）-中国移动研究院》，方正证券研究所
在深度学习中，数据移动大量且频繁地存在于计算单元与存储单元之间，由于数据在 CPU 或 GPU 中频繁高速传递，整个过程的无用能耗大概在 60%-90%；同时由于外部DRAM 的运行速度远远小于 CPU 或 GPU 的运算速度，冯·诺依曼架构也受到传输带宽瓶颈的限制（常称：存储墙瓶颈），因此系统的运算效率大打折扣。
大模型参数呈现指数规模，引爆海量算力需求: 根据财联社和OpenAI数据，ChatGPT浪潮下算力缺口巨大，根据OpenAI数据，模型计算量增长速度远超人工智能硬件算力增长速度，存在万倍差距。运算规模的增长，带动了对AI训练芯片单点算力提升的需求，并对数据传输速度提出了更高的要求。根据智东西数据，过去五年，大模型发展呈现指数级别，部分大模型已达万亿级别，因此对算力需求也随之攀升。
算力发展速度远超存储，存储带宽限制计算系统的速度: 在过去二十年，处理器性能以每年大约55%的速度提升，内存性能的提升速度每年只有10%左右。因此，目前的存储速度严重滞后于处理器的计算速度。能耗方面，从处理单元外的存储器提取所需的时间往往是运算时间的成百上千倍，因此能效非常低；“存储墙”成为加速学习时代下的一代挑战，原因是数据在计算单元和存储单元的频繁移动。
存储墙、带宽墙和功耗墙成为首要限制关键: 在传统计算机架构中，存储与计算分离，存储单元服务于计算单元，因此会考虑两者优先级；如今由于海量数据和AI加速时代来临，不得不考虑以最佳的配合方式为数据采集、传输、处理服务，然而存储墙、带宽墙和功耗墙成为首要挑战，虽然多核并行加速技术也能提升算力，但在后摩尔时代，存储带宽制约了计算系统的有效带宽，芯片算力增长步履维艰。
存算一体有望打破冯诺依曼架构，是后摩时代下的必然选择: 存算一体是在存储器中嵌入计算能力，以新的运算架构进行二维和三维矩阵乘法/加法运算。存内计算和存内逻辑，即存算一体技术优势在于可直接利用存储器进行数据处理或计算，从而把数据存储与计算融合在同一个芯片的同一片区之中，可以彻底消除冯诺依曼计算架构瓶颈，特别适用于深度学习神经网络这种大数据量大规模并行的应用场景。
存算一体三大优势：1）具有更大算力（1000TOPS 以上）；2）具有更高能效（超过 10-100TOPS/W），超越传统 ASIC 算力芯片；3）降本增效（可超过一个数量级）。
存算一体技术的技术底层特征包括：1）减少数据搬运（降低能耗至1/10~1/100）；2）存储单元具备计算能力（等效于在面积不变的情况下规模化增加计算核心数，或者等效于提升工艺代）；3）单个存算单元替代“计算逻辑+寄存器” 更小更快。
CPU、GPU 与存算一体结构比较
资料来源：知乎，陈巍谈芯，《先进存算一体芯片设计》（陈巍、耿云川等），方正证券研究所
随着半导体制造技术突破，以及AI等算力密集的应用场景的崛起，为存算一体技术提供新的制造平台和产业驱动力。2016年，美国加州大学团队提出使用RRAM构建存算一体架构的深度学习神经网络(PRIME)。相较于传统冯诺伊曼架构的传统方案，PRIME可以实现功耗降低约20倍、速度提升约50倍；此外，2017年，英伟达、微软、三星等提出存算一体原型；同年起，国产存算一体芯片企业开始“扎堆”入场，例如千芯科技、智芯微、亿铸科技、后摩代、苹芯科技等。
存算一体行业趋势
资料来源：《存算一体芯片深度产业报告—量子位智库》，方正证券研究所
技术分类
（一）、近存计算（PNM）
近存计算通过芯片封装和板卡组装等方式，将存储单元和计算单元集成，增加访存带宽、减少数据搬移，提升整体计算效率。近存计算仍是存算分离架构，本质上计算操作由位于存储外部、独立的计算单元完成其技术成熟度较高，主要包括存储上移、计算下移两种方式。近存计算已应用于人工智能、大数据、边缘计算等场景因其基本保持原有计算架构，产品化方案可较快投入使用。
1）存储上移：采用先进封装技术将存储器向处理器（如 CPU、GPU）靠近，增加计算和存储间的链路数量，提供更高访存带宽。典型的产品形态为高带宽内存（High Bandwidth Memory，HBM），将内存颗粒通过硅通孔（Through Silicon Via，TSV）多层堆叠实现存储容量提升，同时基于硅中介板的高速接口与计算单元互联提供高带宽存储服务。
高带宽内存方案
资料来源：《存算一体白皮书（2022 年）-中国移动研究院》，方正证券研究所
2）计算下移：采用板卡集成技术将数据处理能力卸载到存储器，由近端处理器进行数据处理，有效减少存储器与远端处理器的数据搬移开销。典型的方案为可计算存储（Computational Storage Drives，CSD），通过在存储设备引入计算引擎承担如数据压缩、搜索、视频文件转码等本地处理，减少远端处理器（如 CPU）的负载。
可计算存储方案
资料来源：《存算一体白皮书（2022 年）-中国移动研究院》，方正证券
（二）、存内处理（PIM）
存内处理是在芯片制造的过程中，将存和算集成在同一个晶粒（Die）中，使存储器本身具备了一定算的能力。存内处理本质上仍是存算分离相比于近存计算，“存”与“算”距离更近。当前存内处理方案大多在内存（DRAM）芯片中实现部分数据处理，较为典型的产品形态为 HBM-PIM 和 PIM-DIMM，在 DRAM Die 中内置处理单元，提供大吞吐低延迟片上处理能力，可应用于语音识别、数据库索引搜索、基因匹配等场景。
基于 DRAM 的 PIM 方案实例
资料来源：《存算一体白皮书（2022 年）-中国移动研究院》，方正证券研究所
（三）、存内计算（CIM）
存内计算即狭义的存算一体。在芯片设计过程中，不再区分存储单元和计算单元，真正实现存算融合。存内计算是计算新范式的研究热点，其本质是利用不同存储介质的物理特性，对存储电路进行重新设计使其同时具备计算和存储能力，直接消除“存”“算”界限，使计算能效达到数量级提升的目标。存内计算最典型的场景是为 AI算法提供向量矩阵乘的算子加速，目前已经在神经网络领域开展大量研究，如卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network, RNN）等。
存内计算主要包含数字和模拟两种实现方式，二者适用于不用的应用场景。
1）模拟存内计算：适用于低精度、低功耗计算模拟存算一体通常使用 FLASH/RRAM、PRAM 等非易失性存储截至作为存储器件，存储密度大，并行度高，但是对环境噪声和温度非常敏感，适用于低精度、低功耗计算场景，如端侧可穿戴设备等。
2）数字存内计算：适用于高精度、功耗不敏感计算数字存算一体主要以 SRAM/RRAM/DRAM 作为存储器件，采用先进逻辑工艺，具有高性能高精度的优势，且具备良好的抗噪声能力和可靠性，适用于高精度、功耗不敏感计算场景，未来可应用于云边AI 场景。一直以来，主流的存内计算大多采用模拟计算实现，近两年数字存内计算的研究热度飞速提升。
存内计算存储器件
存内计算电路可基于易失性存储器和非易失存储器件实现。易失性存储器在设备掉电之后数据丢失，如 SRAM 等；非易失性存储器在设备掉电后数据可保持不变，如 NOR Flash、阻变随机存储器（Resistive Random Access Memory，RRAM)）、磁性随机存储器（Magnetoresistive Random Access Memory，MRAM)）、相变存储器（Phase Change Memory，PCM）等。
五种主流存内计算器件性能对比分析
应用前景
边侧应用场景：
1 ）边侧单设备算力需求约为 64~256 TOPS。随着车联网等边缘计算应用的快速兴起，海量数据将在边缘侧进行处理，流量模型逐渐从云侧扩展到边侧。2 ）边侧设备对时延、功耗、成本以及通用性等有较高要求。比如智慧港口要求端到端时延 10~20ms，车联网场景要求端到端时延 3~100ms。此外，由于边侧设备通常部署在等靠近数据生产或使用的场所，对散热要求也比较高。3 ）存算一体在深度学习等领域具备独特优势。与传统方案相比，存算一体在深度学习等领域可以提供比传统设备高几十倍的算效比，此外存内计算芯片通过架构创新能提供综合性能全面兼顾的芯片及板卡，预计将为广泛的边缘 AI 业务提供服务。
云侧应用场景
1 ）云侧大算力、高带宽、低功耗需求催涨 AI 芯片。以图像、语音、视频为主的非结构化数据呈现高速增长趋势，根据IDC 预测，到 2030 年将带动智能算力需求增长 500 倍，以 AI 算力为核心的智算中心将成为算力基础设施主流，大规模的 AI 芯片集约化建设带来高功耗挑战，每机架平均功耗将由 3~5kw 逐渐升至7~10kw。未来智算中心呼唤新型 AI 芯片，以满足云侧大算力、高带宽、低功耗等特性。2） 存内计算——智算中心下一代关键 AI 芯片技术。存内计算可通过多核协同集成大算力芯片，结合可重构设计打造通用计算架构，正面向大算力、通用性、高计算精度等方面持续演进，有望为智算中心提供绿色节能的大规模 AI 算力。针对智能驾驶、数据中心等大算力应用场景，在可靠性、算力方面有较高要求，云计算市场厂商相对集中，存算一体芯片以其高能效大算力优势有望另辟蹊径抢占云计算市场。
资料来源：网易、知乎，华西证券研究所
应用方向：
1） AI 和大数据计算：存内计算适用于 AI 的深度神经网络应用和基于 AI 的大数据技术。通过存算一体技术，可将带 AI 计算的大量乘加计算的权重部分存在存储单元中。对此，在电路设计方面，通过在存储单元的核心电路上做修改，从而在读取的同时进行数据输入和计算处理，在存储阵列中完成卷积运算，再加上大量乘加的卷积运算是深度学习算法中的核心组成部分，存内计算助力基于 AI 的大数据技术。
2 ）感存算一体：存算一体助力含 AI 存算一体芯片的传感器实现零延时和超低功耗的智能视觉处理能力。集传感、储存和运算为一体构建感存算一体架构，在解决冯·诺依曼架构的存储墙瓶颈的同时，与传感结合提高整体效率。1）在传感器自身包含的 AI 存算一体芯片上运算，可实现零延时和超低功耗的智能视觉处理能力；2）基于 SRAM 模数混的视觉应用存内计算神经拟态芯片仅在检测到有意义的时间才会进行处理，大幅降低能耗。
3 ）类脑计算：存算一体为类脑计算的关键技术基石。类脑计算又被称为神经形态计算，是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。本质与存算一体类似，类脑计算旨在使计算机像人脑一样将存储和计算合二为一，从而高速处理信息。由于类脑计算属于大算力高能效领域，因此针对云计算和边缘计算的存算一体技术，是未来类脑计算的首选和产品快速落地的关键。
先进计算技术产业体系框架
资料来源：《中国算力发展指数白皮书（2022 年）》，方正证券研究所
驱动因素：
1） 新型存储器的发展：新型存储器件的物理性能更适合开发存内计算，在实现更高计算密度的同时具备成本优势。在新型存储器件上发展存算一体技术，能够带来更大的算力优势，从而开拓更多的人工智能应用场景。此外，新型存储器件的发展上限更高，现有存储器件再过 3-4 年将走向技术极限，而新型存储器件还可以往前发展 10-20 年。根据量子位智库，基于 RRAM 的新型存储器件有望在 5 年内在产品化上取得突破。新型存储器件的特点是在其开发过程中需要在传统 CMOS 工艺里增加特殊材料或工艺，这些特殊材料或工艺的开发需要经过大量实验及测试验证，而传统的 CMOS 代工厂在开发进度上相对缓慢。新型器件工艺的突破点主要是工艺的迭代速度，如果没有标准的 12 寸量产产线，新型存储器件很难走向量产。如果新型存储器发展受限，在传统存储器件走到成熟尽头后，开拓新应用场景的难度会极大。
2 ）应用侧需求：后摩智能认为存算一体的发展逻辑是由外向内的，当大量需求出现后，一项能够满足客户需求的新技术将迅速发展。在存算一体领域，AI、大数据分析这类数据密集型应用的出现，对能效比的需要迅速上升，推动了存算一体的发展。存算一体的底层逻辑是让很大一部分数据不需要搬出存储器便可参与计算，以此大幅提升计算效率。同时，随着深度学习被广泛应用，对算力的需求不仅仅是大算力，有效算力也成为企业关注的焦点。在传统的冯·诺依曼架构下，存储单元和计算单元分离，存储器读写速度慢产生的时延，在一定程度上造成算力浪费。尽管处理器的性能再优，依然需要平衡存储器的特性，存储器运行速度慢导致实际运算效率不及理论上所呈现的指标。而存算一体架构通过使存储器具备计算能力，实现在相同芯片面积下规模化增加计算核心数。
3） 产业侧配合：存算一体技术在 0 到 1 的阶段已初步形成 IP 授权，定制开发，自定义产品多种商业模式，能够在特定应用场景中实现小规模量产。一旦产品出现可大规模量产的趋势或能够产生足够的收益，整个产业链便会积极加入，在生产制造的各个环节都将有相应公司专门基于存算一体做研发，共同推动整个产业发展。根据量子位智库，从目前小规模量产到实现大规模量产大概有 10 年的时间，其中前 5 年存内计算将以 AI 计算为主，后 5 年将覆盖更多应用场景。在底层技术上，选择正确的方向和适配的场景决定了技术在未来是否有足够的潜力走向产业化。
行业现状：
根据量子位智库测算，2025 年，基于存算一体技术的小算力芯片市场规模约为 125 亿人民币。存算一体技术从实验室的研究成果到实现初步量产需要 5 年左右的时间，从初步量产到大规模量产则需要10 年左右时间。国内存算一体公司从成立时间上看，集中在 2017-2020 年，其中实现量产的公司有 4 家左右，其余公司中进入测试阶段的有 2-3 家。量子位智库预计，2025 年存算一体将迎来商业化转折点，应用场景从麦克风、智能手表和 TWS 耳机拓展到智能安防、移动终端和 AR/VR 等（从语音识别、唤醒到视觉处理）。
中国存算一体芯片市场规模估计
资料来源：《存算一体芯片深度产业报告—量子位智库》，方正证券研究所
2030 年，基于存算一体技术的中小算力芯片市场规模约为 1069 亿人民币，基于存算一体技术的大算力芯片市场规模约为 67 亿人民币，总市场规模约为 1136 亿人民币。大算力芯片和小算力芯片在底层的存算一体单元基本可以复用，但 NPU 架构和编译器需要做一定修改以支持更通用的场景。除了提升芯片设计能力，使用新型存储器也能够增加单个芯片的算力。RRAM 新型存储器技术具有高速、结构简单 的优点，有望成为未来发展最快的新型存储器，目前距离工艺成熟还有 2-5 年的时间。考虑到从技术突破到产品化还需要 2-3 年的时间，量子位智库预计在 2030 年，基于存算一体的大算力芯片将实现规模量产，应用场景覆盖大数据检索、蛋白质/基因分析、数据加密、图像处理等。
竞争格局：
从发展进程上讲，国外存算一体产业比国内起步早 3-5 年左右，并且基于存算一体的技术已普遍实现产品化。目前来看，SST，Syntiant和 Mythic 走在商业化前列；SST 的 IP 授权数量最多，且许多芯片大厂愿意为其买单。从芯片营收上讲，经量子位智库统计，美国超过 100 亿美元营收的芯片公司有 10 家左右，欧洲有 5 家左右，而中国只有 1-2 家（中国公司数量远超国外）。从技术得到验证到产品化过程的前期，存算一体配套工具（如 EDA软件）的研发公司尚处在探索阶段。缺乏成熟的配套工具导致基于存算一体技术的产品在短期内（5 年左右）以小规模量产为主。
大陆相关企业：
算力能力：
中科曙光：中科曙光作我国核心信息基础设施领军企业: 在高端计算、存储、安全、数据中心等领域拥有深厚的技术积淀和领先的市场份额，并充分发挥高端计算优势，布局智能计算、云计算、大数据等领域的技术研发，打造计算产业生态，为科研探索创新、行业信息化建设、产业转型升级、数字经济发展提供了坚实可信的支撑。依托先进计算领域的先发优势和技术细节，中科曙光全面布局智能计算: 完成了包括AI核心组件、人工智能服务器、人工智能管理平台、软件等多项创新，构建了完整的AI计算服务体系。并积极响应时代需求，在智能计算中心建设浪潮下，形成了5A级智能计算中心整体方案。目前，曙光5A智能计算中心已在广东、安徽、浙江等地建成，江苏、湖北、湖南等地已进入建设阶段，其他地区也在紧张筹备和规划中。
浪潮信息：浪潮信息是全球领先的新型IT基础架构产品、方案及服务提供商: 公司是全球领先的 AI 基础设施供应商，拥有业内最全的人工智能计算全堆栈解决方案，涉及训练、推理、边缘等全栈 AI 场景，构建起领先的 AI 算法模型、AI 框架优化、AI 开发管理和应用优化等全栈 AI 能力，为智慧时代提供坚实的基础设施支撑。公司算力技术壁垒浓厚: 生产算力方面，公司拥有业内最强最全的 AI 计算产品阵列，业界性能最好的Transformer 训练服务器NF5488、全球首个 AI 开放加速计算系统 MX1、自研 AI 大模型计算框架 LMS。聚合算力层面，公司针对高并发训练推理集群进行架构优化，构建了高性能的NVMe 存储池，深度优化了软件栈，性能提升 3.5 倍以上。调度算力层面，浪潮信息 AIstation 计算资源平台可支持 AI 训练和推理，是业界功能最全的 AI 管理平台；同时，浪潮信息还有自动机器学习平台 AutoML Suite，可实现自动建模，加速产业化应用。
存储芯片：
东芯股份：东芯股份拥有独立自主的知识产权，努力打造中国领先的存储设计企业：公司是一家Fabless（无晶圆厂）芯片企业，主要从事芯片设计和销售业务，将晶圆制造、封装测试等生产环节委托第三方完成，拥有独立自主的知识产权，聚焦于中小容量NAND/NOR/DRAM芯片的研发、设计和销售，是目前国内少数可以同时提供NAND/NOR/DRAM设计工艺和产品方案的存储芯片研发设计公司。公司愿景是成为中国领先的存储设计企业，使命为提供可靠高效的存储产品及设计方案。担当本土存储“芯”使命，研发前瞻性产品—存算一体化芯片&DTR NAND：东芯半导体持续研发和优化产品性能，致力于研发1×nm NAND Flash芯片，聚焦于高附加值产品，研发前瞻性产品：存算一体化芯片&DTR NAND。东芯半导体在已有的多类别存储技术的基础上，叠加新的研发方案，在存算一体布局中具有很高的先发优势。
存储模组：
江波龙：江波龙聚焦NAND Flash闪存应用和存储芯片定制、存储软硬件开发，处于国内存储器领先地位：江波龙电子成立于1999年，主要从事Flash及DRAM存储器的研发、设计和销售。拥有嵌入式存储、移动存储、固态硬盘及内存条4条产品线，提供消费级、工规级、车规级存储器以及行业存储软硬件应用解决方案，拥有行业类存储品牌FORESEE和国际高端消费类存储品牌Lexar（雷克沙）。公司深耕存储行业20余年，专注于半导体存储产品与应用，形成固件开发、存储芯片测试、集成封装设计、存储产品定制等核心竞争力。构建存储新维度，迈向存储综合服务商：1、公司2022年成功发布第一款自主研发SLC NAND Flash，在Flash技术应用取得了重大突破。2、通过新型材料在存储产品中的创新应用，解决存储散热、数据安全、工艺可靠性等一系列封装材料问题。3、已经拥有覆盖eMMC、UFS、SD&SSD等存储产品核心标准专利储备，消除了产品出海核心专利壁垒问题。4、积极参与共建ITM专利池，联合协会伙伴推动NM2.0的技术标准研究及产品落地。
佰维存储：佰维存储专注于存储芯片研发与封测制造，是国家高新技术企业，国家级专精特新小巨人企业：公司整合了存储器研发设计、固件算法开发、先进封装、测试设备研发与算法开发、品牌运营等，构筑了研发封测一体化的经营模式。公司存储芯片产品广泛应用于移动智能终端、PC、行业终端、数据中心、智能汽车、移动存储等信息技术领域，主要包括嵌入式存储、消费级存储、工业级存储、先进封测服务四大板块，是国内率先进入全球科技巨头供应链体系的存储器企业。持续加大存储器核心领域研发投入，打造全国一流半导体厂商：佰维存储当前处于高速成长阶段，半导体存储器领域，公司是国内半导体存储器率先进入顶级品牌供应链的企业。在封装测试领域，佰维多层叠Die、超薄Die、多芯片异构集成等先进工艺等核心封装测试指标均达到业内一流、国际领先的水平。
方正证券：存算一体：继 CPU、GPU 架构之后的算力架构“第三极”
华西证券：ChatGPT:存算一体，算力的下一极，AIGC行业深度报告(6)
