利用静态硬盘降低 AI 微调训练显存需求,群联展示 aiDaptiv+ 平台

据外媒 Tom's Hardware 报道,群联在英伟达 GDC2024 上展示了同 Maingear 合作的 aiDaptiv 硬件平台,可降低中小型企业 AI 模型微调训练成本。群联表示中小型企业在模型微调训练方面面临各种困难:接纳云服务不仅昂贵也存在数据隐私的不稳定性;而在本地运行又需要复杂的构建过程,电力需求也不能忽视。而群联 aiDaptiv 计划接纳超耐用型 aiDAPTIVCache 静态硬盘,可扩展系统的可用内存容量,包容更大模型,同时也方便易用。具体来说,aiDaptiv 包含的中间件软件库

据外媒 Tom’s Hardware 报道,群联在英伟达 GDC2024 上展示了同 Maingear 合作的 aiDaptiv+ 硬件平台,可降低中小型企业 AI 模型微调训练成本。

群联表示中小型企业在模型微调训练方面面临各种困难:接纳云服务不仅昂贵也存在数据隐私的不稳定性;而在本地运行又需要复杂的构建过程,电力需求也不能忽视。

而群联 aiDaptiv+ 计划接纳超耐用型 aiDAPTIVCache 静态硬盘,可扩展系统的可用内存容量,包容更大模型,同时也方便易用。

具体来说,aiDaptiv+ 包含的中间件软件库可将 GPU 显存中不活跃的 AI 模型层切片分离,在 aiDAPTIVCache 缓存静态硬盘上暂放待处理的这些切片,并将 GPU 上已完成的部分与待处理的切片交换。此过程无需对 AI 应用本身进行修改。

利用静态硬盘降低 AI 微调训练显存需求,群联展示 aiDaptiv+ 平台

▲ 图源 Tom’s Hardware

利用静态硬盘降低 AI 微调训练显存需求,群联展示 aiDaptiv+ 平台

▲ 图源 Tom’s Hardware

群联表示,其 aiDaptiv+ 计划可在一台 4 卡工作站平台中完成 Llama 70b 模型的微调训练,包容显存总量 7 倍以上的数据。

利用静态硬盘降低 AI 微调训练显存需求,群联展示 aiDaptiv+ 平台

▲ 图源群联官方

而为了实现这种显存外数据存储,计划中的静态硬盘必须要有足够高的历久。

群联此次推出的 aiDAPTIVCache 系列静态硬盘 ai100E,其接纳 SLC 闪存,每根容量 2TB,拥有 5 年内 100DWPD(IT之家注:每日整盘写入次数)的写入历久。

给TA打赏
共{{data.count}}人
人已打赏
AI

AI 美女告白让人难辨真假,博主被迫录视频自证“果然是 AI”

2024-3-27 15:59:33

AI

马斯克宣告 Grok 谈天机器人将在本周晚些时候向整个 X Premium 定阅用户绽放

2024-3-27 16:26:21

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索