Feature Reading

Marvell要用光,终结存储末日

通过更稳定的内容版面、清楚的上下文信息与推荐阅读衔接,让文章阅读节奏保持专注与延续。

Marvell要用光,终结存储末日
Insight Article

聚焦赛事观点、动态追踪与阅读延展

Marvell要用光,终结存储末日

据米乐体育整理:

公众号记得加星标⭐️,第一时间看推送不会错过。

Celestial AI 实现远距离高带宽存储器 (HBM) 的梦想即将成为现实,这是 Marvell Technology 与系统集成商 Penguin Solutions 合作构建光子存储结构的一部分。

about image

今年 2 月,Marvell 以 35 亿美元的价格从Celestial AI收购了该光纤通道架构的底层技术。

该架构包含一个内存扩展模块,该模块包含两组总计 72 GB 的 HBM3e 内存堆叠,并支持八通道 DDR5 内存,这些内存堆叠在一个硅光子中介层上,双向带宽为 7.

2 Tbps(900 GB/s)。

“我们在这个设备中提供的是我们称之为光子结构存储模块的东西……我们把这些模块提供给 Penguin,他们负责制造盒子、进行所有电源管理、编写软件以及所有管理层,”Marvell 光子结构业务高级副总裁 Preet Virk 告诉El Reg。

Penguin 首批基于该技术的设备将支持 16 个这样的内存模块,最高可达 16 TB DDR5 和 1 TB HBM,未来的系统能够扩展到 DDR5 容量的两倍。

每个设备通过 Marvell 设计的光纤交换器分配 57.

6 Tbps 的带宽,最多可支持 16 台服务器,可通过网络接口卡、共封装 (CPO) 或近封装 (NPO) 光模块实现。

如果您还不熟悉,CPO 模块通常直接集成到计算或交换 ASIC 中,而 NPO 模块则是一种折衷方案。

它们通过电气方式连接到主机(无论是 CPU、GPU 还是其他 ASIC),并通过光学方式连接到网络的其余部分。

NPO 有望在英伟达和 AMD 的下一代机架式系统中发挥重要作用,因为它比将光子芯片直接集成到 CPU 或 GPU 中具有更好的可维护性和更小的故障影响范围。

据称,通过 Penguin 开发的软件层,每个系统都可以访问整个共享内存空间,类似于连接到网络附加存储的系统可以访问设备的全部容量。

据我们了解,目前很多此类功能都是通过兼容 CXL 3.

1 的网卡和主机 CPU(例如 AMD 最新推出的 Venice CPU)实现的。

然而,Virk 告诉我们,对于基于 NPO 和 CPO 的内存,可以完全绕过 CXL。

这项技术的意义显而易见。

如果内存可以在多台服务器之间共享和池化,那么每台服务器就不需要那么多自己的DRAM,从而可能节省一些成本。

Virk表示,除了促进通信之外,该软件还支持多种内存分层模式,客户可以通过这些模式将资源开放给连接的系统。

这些模式大多遵循典型的CXL内存分层规范,但有一个例外:HBM直通缓存模式。

Virk称,该模式可以让用户以DDR5的容量获得HBM的性能。

这种模式本质上是将HBM视为读/写缓存。

频繁访问的文件会先写入HBM并从中读取,然后在过期后才被推送到标准的DDR5内存中。

Marvell 和 Penguin 将这款新型内存设备定位为基于存储的键值 (KV) 缓存卸载的替代方案。

人工智能推理会生成大型 KV 缓存,用于跟踪聊天会话和长时间运行的代理的模型状态。

根据上下文长度,这些缓存的重新计算成本可能很高,而且内存占用也很大。

因此,不活跃的键值缓存通常会被卸载到DRAM或闪存中,因为存储和复制它们比在会话恢复时重新计算它们要快得多。

Marvell认为,通过将键值缓存直接从HBM卸载到这些内存设备,客户可以获得更高的性能和内存利用率。

除了 AI 相关工作负载之外,这项技术还有可能减少单个系统所需的 DRAM 数量,我们今年早些时候更深入地探讨了这一概念,Meta 已经在自己的数据中心中采用了这一概念。

Marvell预计Penguin的第一代光子结构内存扩展系统将于明年下半年上市。

以上内容由米乐体育整理发布。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

继续延伸当前主题,快速查看更多相关内容。

内容检索

热点新闻

意甲3大豪门同时开启寻枪模式,尤文已看上5人,罗马心仪皇马妖童

意甲3大豪门同时开启寻枪模式,尤文已看上5人,罗马心仪皇马妖童

近日,据意大利媒体全市场的最新消息显示,意甲三大豪门目前都在满世界寻找世界级前锋,他们都想补强前锋位置,但显然路径不同,目标也不同。 斑马军团尤文图斯赛季开局不顺,锋线告急。穆阿尼和沃尔特马德的表现谈不上合格,找一名高水平中锋被列为球队的引援首选。据悉,俱乐部刚已完成2.5亿欧元增资,账目压力大大缓解缓解,引援预算也有了空间,他们的规划不止覆盖冬窗转会市场,而是目光更为长远。 尤文图斯的引援名单上

魔兽无限:11月10日蓝贴!暴雪调整角色创建机制!部落建号更难了

魔兽无限:11月10日蓝贴!暴雪调整角色创建机制!部落建号更难了

为了维持 PvP 服务器的阵营平衡,暴雪调整了角色创建系统:在人数更多的阵营创建角色,会变得越来越困难。 暴雪希望 PvP 规则集的阵营比例尽可能接近 50/50,因此会让偏多的一方建号更难。虽然目前各服最极端的情况也只是约 55/45,但他们希望比例更均衡。 虽然蓝贴里没提国服,但是国服PVP规则集下的部落情况可能更甚,这一新调整估计很快也会落实在国服服务器里,总结一下就是,暴雪这个新机制不是看

斯蒂芬·金新剧回归仅1天,冲上平台收视第3

斯蒂芬·金新剧回归仅1天,冲上平台收视第3

斯蒂芬·金(Stephen King)的 supernatural 恐怖剧集回归后迅速成为流媒体热门,剧集由此进入一个全新阶段。 这部剧是《The Institute》,改编自金2019年同名小说,由MGM+出品。第一季围绕少年卢克·埃利斯(Luke Ellis,乔·弗里曼饰)展开:他被剧名所指的“研究所”绑架,因其通灵能力而遭到实验。剧中他试图与在那里结识的超能力伙伴们一同逃离,与此同时,警探蒂

人到中年万般不由人,40岁女业主250万房产97万甩卖,含泪放下执念,及时止损是中年人无奈的取舍

人到中年万般不由人,40岁女业主250万房产97万甩卖,含泪放下执念,及时止损是中年人无奈的取舍

一位40岁的女业主,250万买的房,最后以97万卖掉。扣掉个税和中介费,到手不到95万。她原本还想再坚持坚持,可中介给她看了同小区同户型的房源,已经有人挂出“8字头”了。她放下执念,签了合同。 她说,人生的起起落落,真的是世事难料,不过努力活着比什么都重要。 图片 “同户型有人挂八十多万”这句话为什么能让她瞬间破防。因为之前她所有的坚持,都建立在一个假设上:价格已经到底了,不会再低了。可中介把同户

苹果加这两样,沾枕头就困,打雷都吵不醒

苹果加这两样,沾枕头就困,打雷都吵不醒

不少人一到晚上就犯愁:明明身体很累,脑袋却胡思乱想,翻来覆去熬很久才能睡着;夜里稍有动静就醒,醒后很难再入眠;晨起浑身发沉、头晕乏力,一整天都没精神。 长期睡不好,心烦、气色差、免疫力跟着下降。不想依赖安眠药,可以试试这几款苹果安神食疗,搭配新颖不烂大街,温润滋养、平复心神,适合日常慢慢调理。 一、苹果+桂圆+玫瑰花|疏肝解郁安神茶 ✅适合:压力大、爱生气、心里烦闷、思虑多导致入睡难、多梦 ✅食材