AI在线 AI在线

内存

S-LoRA：一个GPU运行数千大模型成为可能

S-LoRA：一个GPU运行数千大模型成为可能

一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用于将 base 模型适配到多种任务中，从而产生了大量从一个 base 模型衍生出来的 LoRA 适配程序。这种模式为服务过程中的批量推理提供了大量机会。LoRA 的研究表明了一点，只对适配器权重进行微调，就能获得与全权重微调相当的性能。虽然这种方法可以实现单个适配器
11/15/2023 3:04:00 PM 机器之心
谷歌下场优化扩散模型，三星手机运行Stable Diffusion，12秒内出图

谷歌下场优化扩散模型，三星手机运行Stable Diffusion，12秒内出图

Speed Is All You Need：谷歌提出针对 Stable Diffusion 一些优化建议，生成图片速度快速提升。Stable Diffusion 在图像生成领域的知名度不亚于对话大模型中的 ChatGPT。其能够在几十秒内为任何给定的输入文本创建逼真图像。由于 Stable Diffusion 的参数量超过 10 亿，并且由于设备上的计算和内存资源有限，因而这种模型主要运行在云端。在没有精心设计和实施的情况下，在设备上运行这些模型可能会导致延迟增加，这是由于迭代降噪过程和内存消耗过多造成的。如何在设
4/27/2023 2:25:00 PM 机器之心
跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了

跑ChatGPT体量模型，从此只需一块GPU：加速百倍的方法来了

1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？
2/27/2023 5:21:00 PM 机器之心
和TensorFlow一样，英伟达CUDA的垄断格局将被打破？

和TensorFlow一样，英伟达CUDA的垄断格局将被打破？

CUDA 闭源库将和 TensorFlow 一样逐渐式微。
1/18/2023 9:24:00 PM 机器之心
用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理

用什么tricks能让模型训练得更快？先了解下这个问题的第一性原理

深度学习是门玄学？也不完全是。
3/22/2022 2:26:00 PM 机器之心