Ollama

Ollama推出全新多模态AI引擎，推理性能显著提升

前不久，Ollama 宣布推出一款全新的多模态 AI 引擎，这款引擎的研发是独立于原有的 llama.cpp 框架进行的，标志着公司在人工智能领域迈出了重要一步。这一引擎是基于 Golang 编程语言开发，旨在大幅提高本地推理的精度，同时增强大型图像处理的能力。新引擎的亮点在于其引入了图像处理元数据、KVCache 优化及图像缓存功能。

5/19/2025 10:01:06 AM

AI在线

Ollama 上线自研多模态 AI 引擎：逐步摆脱 llama.cpp 框架依赖，本地推理性能飙升

Ollama推出自研多模态AI引擎，摆脱对llama.cpp的依赖，优化本地推理性能，支持大图像处理和复杂模型。新引擎引入图像处理元数据、KVCache优化等技术，联合NVIDIA等硬件巨头优化内存管理。#AI技术# #本地推理#

5/17/2025 2:10:47 PM

故渊

Mac也能跑Qwen3，一文看懂本地部署qwen 3配置要求

本地部署 Qwen3模型:借助 Ollama 在 Mac 上畅享大模型力量随着大型语言模型技术的飞速发展，越来越多的用户希望能在本地环境中运行这些强大的模型，以获得更好的数据隐私、更快的响应速度以及更灵活的定制性。好消息是，知名的模型运行平台 Ollama 已经全面支持 Qwen3系列模型，这使得在个人设备上本地部署 Qwen3成为可能。本文将重点介绍如何利用 Ollama 在 Mac 设备上进行 Qwen3模型的本地部署与配置，并结合最新的模型规格信息，为您提供详细的参考。

4/29/2025 4:00:41 PM

AI在线

Ollama 支持全线的 Qwen 3 模型

Ollama官方宣布已全面支持阿里巴巴通义千问最新一代大语言模型系列——Qwen3。这一重要更新进一步丰富了Ollama的开源模型生态，为开发者、企业及AI爱好者提供了更强大的本地化部署选择，显著提升了在多种场景下的AI应用灵活性与效率。 Qwen3模型:性能与规模并重Qwen3是阿里巴巴通义千问团队推出的最新一代大语言模型，涵盖从0.6亿到2350亿参数的广泛模型规模，包括高效的混合专家（MoE）模型。

4/29/2025 12:01:00 PM

AI在线

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高

与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。

4/9/2025 10:47:02 AM

贝塔街的万事

Ollama与vLLM部署对比：哪个更合适？

Ollama：简单易用的LLM部署工具 Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。 Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理和运行。

4/9/2025 8:20:00 AM

耗子

如何用 Spring AI + Ollama 构建生成式 AI 应用

一、故事背景：Java 老炮儿与 AI 新秀的较量上周，产品经理拍着桌子说："三天内必须上线智能客服！要能回答订单查询、退换货政策，还要会讲冷笑话！ " 我盯着需求文档陷入沉思：传统规则引擎就像老黄牛，拉不动这么重的活；调用 OpenAI 又怕数据泄露——这不是让 Java 程序员在钢丝上跳霹雳舞吗？

3/31/2025 9:30:52 AM

手把手教你实现 Ollama+FastGPT+DeepSeek 打造个人专属 AI 知识库！

本文从零实现，基于Ollama、FastGPT、Deepseek在本地环境中打造属于自己的专业知识库，与大家分享~一、本地部署OllamaOllama是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大语言模型（LLM）而设计，无需依赖云端服务。它提供简单易用的界面和优化的推理引擎，帮助我们轻松加载、管理和运行各种AI模型。 1.

3/26/2025 8:50:00 AM

小喵学AI

Manus AI联手Ollama：打造真正能“动手”的智能助手

第一次听到Manus AI，我的内心泛起一丝好奇——这款AI助手居然声称比DeepSeek和ChatGPT还强？带着疑问，探索了它的独特之处，而结果着实让我吃惊。 Manus的名字来自拉丁语“Mens et Manus”，意即“头脑与双手”。

3/17/2025 12:00:00 AM

dev

Ollama高并发测试

本文主要来测试一下ollama的高并发能力。具体配置如下：一、Ollama默认参数执行我们打开4个窗口，然后分别让DeepSeek “给我讲一个笑话” ，看下不同窗口的答题顺序。通过答题顺序可以看到，在不进行参数设置时，模型是一个一个执行。

3/10/2025 10:00:00 AM

Ollama的配置修改与接口调用

一、修改环境变量1.1 配置远程访问在我们本地部署好ollama之后，仅支持本机访问，我们可以通过修改环境变量让其他人可以远程访问。在wins电脑上增加环境变量：复制1.2 配置本地模型路径1.2.1 本地模型默认路径wins本地模型默认路径：C:\Users\%username%\.ollama\models。这里 %username% 是当前登录的用户名。

3/10/2025 9:00:00 AM

Python伊甸园

国家网络安全通报中心通报：大模型工具Ollama存在安全风险

今日，国家网络安全通报中心发布关于大模型工具 Ollama 存在安全风险的情况通报，据清华大学网络空间测绘联合研究中心分析，开源跨平台大模型工具 Ollama 默认配置存在未授权访问与模型窃取等安全隐患。鉴于目前 DeepSeek 等大模型的研究部署和应用非常广泛，多数用户使用 Ollama 私有化部署且未修改默认配置，存在数据泄露、算力盗取、服务中断等安全风险，极易引发网络和数据安全事件。

3/3/2025 6:36:49 PM

远洋

基于Deepseek的安全分析工具设计实践

一、分享背景DeepSeek近日红的发紫，春节前发现一个叫Deepseek的LLM送 10 RMB的Token!!!，正巧符合生产工作中拥抱大模型的主旋律，又本着有羊毛必薅的原则配合B站ollama本地部署喂饭视频起了阿里qwen2.5(1.5b）就行Coding辅助。 ollama本地部署Coding模型复制step2:step3:效果：二、工具需求分析GUI化，免去命令行操作，12-80年龄段各类人群均适用。固定的LLM回复结果，使每一次提问都能得到相同格式的回答（区分在线提问和工具脚本的关键)。

2/19/2025 7:59:06 AM

沈家伟

本地部署DeepSeek就这么简单...

引言DeepSeek 作为一款优秀的语言模型，结合 Ollama 和 Cherry Studio 可以轻松实现本地部署。本文将深入浅出地介绍如何使用 Ollama 与 Cherry Studio 本地部署 DeepSeek。 Oallam简介Ollama 是一个简单易用的工具，它允许用户在本地快速部署和运行各种语言模型。

2/12/2025 8:21:55 AM

了不起

DeepSeek本地部署详细指南！从 Ollama 到个人知识库应用

作者：lushen一、系统介绍mbp pro：二、Ollama 安装与配置1. 跨平台安装指南Ollama 作为本地运行大模型的利器，支持三大主流操作系统：复制2. 服务验证复制出现上述则表示安装成功，可浏览器访问http://localhost:11434/验证。

2/11/2025 12:15:57 PM

腾讯技术工程

使用 DeepSeek R1 和 Ollama 搭建一个 RAG 系统（包含完整代码）

你有没有想过，能不能像跟人聊天一样，直接问 PDF 文件或技术手册问题？比如你有一本很厚的说明书，不想一页页翻，只想问它：“这个功能怎么用？ ”或者“这个参数是什么意思？

2/10/2025 11:27:37 AM

wayn

1分钟学会DeepSeek本地部署，小白也能搞定！

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 DeepSeek 身上的标签有很多，其中最具代表性的标签有以下两个：低成本（不挑硬件、开源）高性能（推理能力极强、回答准确）一、为什么要部署本地DeepSeek？相信大家在使用 DeepSeek 时都会遇到这样的问题：图片这是由于 DeepSeek 大火之后访问量比较大，再加上漂亮国大规模、持续的恶意攻击，导致 DeepSeek 的服务器很不稳定。

2/10/2025 12:00:10 AM

磊

Deepseek本地部署，培养自己的独有的AI伴侣！

目前我们所知道的AI大部分都是在网页或者APP上直接使用，缺少其独特性，deepseek支持将AI部署在我们的本地电脑，只要你得性能够，就可以创造一个独属于你自己的AI伴侣。废话不多说直接上操作！一、配置要求1.

2/8/2025 11:07:35 AM

麋鹿vs

资讯热榜

苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能 Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 微软发布 700 个真实 AI 案例，探索智能化工作新模式豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注 Li Hang, head of ByteDance AI Lab, resigns; Seed team enters adjustment period 苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 LLM 字节跳动 Transformer Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构