AI在线 AI在线

分布式

DeepSeek AI推出Smallpond:基于DuckDB与3FS的轻量级数据处理框架

DeepSeek AI推出Smallpond:基于DuckDB与3FS的轻量级数据处理框架
随着数据集的不断扩大和分布式处理的复杂性加剧，现代数据工作流面临越来越大的挑战。 许多组织发现，传统的数据处理系统在处理时间、内存限制和分布式任务管理方面存在显著的短板。 在这样的背景下，数据科学家和工程师往往需要花费大量时间在系统维护上，而非从数据中提取有价值的见解。
3/6/2025 10:06:00 AM
AI在线
大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch

大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch
近日，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助提升深度学习的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%，相当于为跑车装上了强劲的引擎。图：ATorch致力于让大模型训练更高效、可复现随着生成式大模型的爆发，模型训练的数据集和参数规模成指数级增长，要带动如此庞然大物，并且满足模型的快速迭代，分布式训练就成为了解题之道。在大模型开发工作中，很多开发者和研究人员采用Py
1/9/2024 2:04:00 PM
新闻助手
集结云产业核心成员建立分布式智囊团 安迈云受邀助推新一代云计算

集结云产业核心成员建立分布式智囊团 安迈云受邀助推新一代云计算
2021年5月28日，由中关村数智人工智能产业联盟指导，51CTO主办的“云响力Web3.0新一代云计算大会”在北京圆满落幕，此次峰会集结了来自华为云、腾讯云、京东云、浪潮信息等众多一线云计算厂商，此外，以安迈云为代表的去中心化云计算企业也受邀参与此次峰会，共同针对Web3.0时代云计算的发展，探索新的应用场景。汇集云产业链核心成员 建立“分布式智囊团”此次大会不仅在于对新一代云计算技术、应用上的实践分享，更是由大会主办方51CTO发起，浪潮信息、安迈云、Datenlord等企业的嘉宾代表作为成员，正式成立“分布式
5/31/2021 11:57:00 AM
新闻助手
  • 1