base

B站开源轻量级 Index-1.9B 系列模型：2.8T 训练数据，支持角色扮演

B站昨日开源了轻量级 Index-1.9B 系列模型，包含基座模型、对照组、对话模型、角色扮演模型等多个版本。IT之家附官方简介：Index-1.9B base ：基座模型，具有 19 亿非词嵌入参数量，在 2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先。Index-1.9B pure ：基座模型的对照组，与 base 具有相同的参数和训练策略，不同之处在于严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对 benchmark 的影响。Index-1.9B chat ：基于 i

6/20/2024 8:50:58 AM

清源

S-LoRA：一个GPU运行数千大模型成为可能

一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用于将 base 模型适配到多种任务中，从而产生了大量从一个 base 模型衍生出来的 LoRA 适配程序。这种模式为服务过程中的批量推理提供了大量机会。LoRA 的研究表明了一点，只对适配器权重进行微调，就能获得与全权重微调相当的性能。虽然这种方法可以实现单个适配器

11/15/2023 3:04:00 PM

机器之心

资讯热榜

苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化微软发布 700 个真实 AI 案例，探索智能化工作新模式 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注 Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟苹果将 ChatGPT 和其他 AI 模型引入 Xcode

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 LLM 字节跳动 Transformer Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构