Ollama

无编程经验也能本地玩转 AI：Win10 / Win11 版 Ollama 应用上线

AI在线 8 月 1 日消息，科技媒体 Windows Report 昨日（7 月 31 日）发布博文，报道称 Ollama 公司推出了适用于 Windows 和 macOS 系统的桌面应用，没有任何编程经验的普通用户也能在本地玩转 AI 模型。 AI在线注：Ollama 是一个轻量级、可扩展的框架，用于在本地计算机上构建和运行语言模型。用户此前通常使用 Docker 容器化部署，而现在用户可以直接在桌面端体验该应用。

8/1/2025 2:47:35 PM

故渊

如何在本地运行量化版的DeepSeek-R1-0528？

译者 | 布加迪审校 | 重楼DeepSeek-R1-0528是DeepSeek R1 推理模型的最新版本，需要715GB的磁盘空间，使其成为市面上最大的开源模型之一。然而由于来自Unsloth 的先进的量化技术，该模型的大小可以缩减至162GB，整整缩减了80%。这使得用户能够以显著降低的硬件要求体验模型的全部功能，尽管性能略有下降。

6/16/2025 8:11:47 AM

布加迪

Ollama推出全新多模态AI引擎，推理性能显著提升

前不久，Ollama 宣布推出一款全新的多模态 AI 引擎，这款引擎的研发是独立于原有的 llama.cpp 框架进行的，标志着公司在人工智能领域迈出了重要一步。这一引擎是基于 Golang 编程语言开发，旨在大幅提高本地推理的精度，同时增强大型图像处理的能力。新引擎的亮点在于其引入了图像处理元数据、KVCache 优化及图像缓存功能。

5/19/2025 10:01:06 AM

AI在线

Ollama 上线自研多模态 AI 引擎：逐步摆脱 llama.cpp 框架依赖，本地推理性能飙升

Ollama推出自研多模态AI引擎，摆脱对llama.cpp的依赖，优化本地推理性能，支持大图像处理和复杂模型。新引擎引入图像处理元数据、KVCache优化等技术，联合NVIDIA等硬件巨头优化内存管理。#AI技术# #本地推理#

5/17/2025 2:10:47 PM

故渊

Mac也能跑Qwen3，一文看懂本地部署qwen 3配置要求

本地部署 Qwen3模型:借助 Ollama 在 Mac 上畅享大模型力量随着大型语言模型技术的飞速发展，越来越多的用户希望能在本地环境中运行这些强大的模型，以获得更好的数据隐私、更快的响应速度以及更灵活的定制性。好消息是，知名的模型运行平台 Ollama 已经全面支持 Qwen3系列模型，这使得在个人设备上本地部署 Qwen3成为可能。本文将重点介绍如何利用 Ollama 在 Mac 设备上进行 Qwen3模型的本地部署与配置，并结合最新的模型规格信息，为您提供详细的参考。

4/29/2025 4:00:41 PM

AI在线

Ollama 支持全线的 Qwen 3 模型

Ollama官方宣布已全面支持阿里巴巴通义千问最新一代大语言模型系列——Qwen3。这一重要更新进一步丰富了Ollama的开源模型生态，为开发者、企业及AI爱好者提供了更强大的本地化部署选择，显著提升了在多种场景下的AI应用灵活性与效率。 Qwen3模型:性能与规模并重Qwen3是阿里巴巴通义千问团队推出的最新一代大语言模型，涵盖从0.6亿到2350亿参数的广泛模型规模，包括高效的混合专家（MoE）模型。

4/29/2025 12:01:00 PM

AI在线

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高

与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。

4/9/2025 10:47:02 AM

贝塔街的万事

Ollama与vLLM部署对比：哪个更合适？

Ollama：简单易用的LLM部署工具 Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。 Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理和运行。

4/9/2025 8:20:00 AM

耗子

如何用 Spring AI + Ollama 构建生成式 AI 应用

一、故事背景：Java 老炮儿与 AI 新秀的较量上周，产品经理拍着桌子说："三天内必须上线智能客服！要能回答订单查询、退换货政策，还要会讲冷笑话！ " 我盯着需求文档陷入沉思：传统规则引擎就像老黄牛，拉不动这么重的活；调用 OpenAI 又怕数据泄露——这不是让 Java 程序员在钢丝上跳霹雳舞吗？

3/31/2025 9:30:52 AM

手把手教你实现 Ollama+FastGPT+DeepSeek 打造个人专属 AI 知识库！

本文从零实现，基于Ollama、FastGPT、Deepseek在本地环境中打造属于自己的专业知识库，与大家分享~一、本地部署OllamaOllama是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大语言模型（LLM）而设计，无需依赖云端服务。它提供简单易用的界面和优化的推理引擎，帮助我们轻松加载、管理和运行各种AI模型。 1.

3/26/2025 8:50:00 AM

小喵学AI

Manus AI联手Ollama：打造真正能“动手”的智能助手

第一次听到Manus AI，我的内心泛起一丝好奇——这款AI助手居然声称比DeepSeek和ChatGPT还强？带着疑问，探索了它的独特之处，而结果着实让我吃惊。 Manus的名字来自拉丁语“Mens et Manus”，意即“头脑与双手”。

3/17/2025 12:00:00 AM

dev

Ollama高并发测试

本文主要来测试一下ollama的高并发能力。具体配置如下：一、Ollama默认参数执行我们打开4个窗口，然后分别让DeepSeek “给我讲一个笑话” ，看下不同窗口的答题顺序。通过答题顺序可以看到，在不进行参数设置时，模型是一个一个执行。

3/10/2025 10:00:00 AM

Ollama的配置修改与接口调用

一、修改环境变量1.1 配置远程访问在我们本地部署好ollama之后，仅支持本机访问，我们可以通过修改环境变量让其他人可以远程访问。在wins电脑上增加环境变量：复制1.2 配置本地模型路径1.2.1 本地模型默认路径wins本地模型默认路径：C:\Users\%username%\.ollama\models。这里 %username% 是当前登录的用户名。

3/10/2025 9:00:00 AM

Python伊甸园

国家网络安全通报中心通报：大模型工具Ollama存在安全风险

今日，国家网络安全通报中心发布关于大模型工具 Ollama 存在安全风险的情况通报，据清华大学网络空间测绘联合研究中心分析，开源跨平台大模型工具 Ollama 默认配置存在未授权访问与模型窃取等安全隐患。鉴于目前 DeepSeek 等大模型的研究部署和应用非常广泛，多数用户使用 Ollama 私有化部署且未修改默认配置，存在数据泄露、算力盗取、服务中断等安全风险，极易引发网络和数据安全事件。

3/3/2025 6:36:49 PM

远洋

基于Deepseek的安全分析工具设计实践

一、分享背景DeepSeek近日红的发紫，春节前发现一个叫Deepseek的LLM送 10 RMB的Token!!!，正巧符合生产工作中拥抱大模型的主旋律，又本着有羊毛必薅的原则配合B站ollama本地部署喂饭视频起了阿里qwen2.5(1.5b）就行Coding辅助。 ollama本地部署Coding模型复制step2:step3:效果：二、工具需求分析GUI化，免去命令行操作，12-80年龄段各类人群均适用。固定的LLM回复结果，使每一次提问都能得到相同格式的回答（区分在线提问和工具脚本的关键)。

2/19/2025 7:59:06 AM

沈家伟

本地部署DeepSeek就这么简单...

引言DeepSeek 作为一款优秀的语言模型，结合 Ollama 和 Cherry Studio 可以轻松实现本地部署。本文将深入浅出地介绍如何使用 Ollama 与 Cherry Studio 本地部署 DeepSeek。 Oallam简介Ollama 是一个简单易用的工具，它允许用户在本地快速部署和运行各种语言模型。

2/12/2025 8:21:55 AM

了不起