引言 最近,deepseek是越来越火,我也趁着这个机会做了下私有化部署,我这边使用的ollama和 open-webui实现的web版本 ollama 简介 Ollama 是一个开源的工具,专门用于简化机器学习和 AI 模型的部署。它提供了一个统一的平台,允许你通过命令行工具创建、管理和更新模型。无论你是想在本地开发环境中运行模型,还是将其部署到云端,Ollama 都可以简化这一过程。 Ollama 支持多种常见的机器学习模型框架,包括但不限于 TensorFlow、PyTorch、Hugging Face Transformers 等,此外还支持类似 DeepSeek 这种自定义的搜索引擎模型。 核心特性 易于使用的命令行界面:Ollama 提供了简单直观的命令行工具,可以通过几条命令就完成模型的创建、启动、更新等操作。 环境隔离:Ollama 可以为每个模型提供独立的运行环境,避免了不同模型之间的依赖冲突。 跨平台支持:无论你是使用 Linux、Mac 还是 Windows,Ollama 都可以无缝运行。 自动更新:Ollama 会自动为模型提供更新,确保你使用的是最新的版本。 高效的资源管理:通过 Ollama,你可以有效地管理计算资源,包括 CPU 和 GPU 的使用,确保模型运行的高效性。 安装 Linux 使用root用户执行下面的命令: curl -fsSL https://ollama.com/install.sh | sh windows 直接下载安装包:windows安装包 macos 下载压缩包:https://ollama.com/download/Ollama-darwin.zip 环境变量 为了Ollama能够对外提供服务,需要设置OLLAMA_HOST 在Linux上设置 如果Ollama作为systemd服务运行,通过systemctl设置...