AI

Dify 使用入门：从安装到真正可用的最小路径

一、结论先行：Dify 是什么？ 一句话概括： Dify 是一个“将大模型封装为应用”的平台。 它本身并不提供模型推理能力，也不是单纯的聊天界面，而是位于模型之上的应用与编排层，主要作用包括： 在常见的本地 LLM 架构中，其角色可以抽象为： 简化理解： 交互层解决“如何对话” Dify 解决“让 AI 持续按同一规则工作” 二、什么时候需要 Dify？ 不适合引入 Dify 的情况 当使用目标主要是： 此时，引入额外的应用层意义不大。 Dify 的适用场景 Dify 更适合以下需求： 其核心价值在于：长期一致性与可控性。 三、学习 Dify 的正确主线 应用 → 行为规则（Prompt） → 数据接入 学习顺序非常关键。 不建议一开始接触复杂功能，应先理解 Dify 的最小工作模型。 四、第一步：创建最小可用应用 目标不是“功能完整”，而是： 核心原则 当应用能够正常调用模型并完成基本对话，即达到该阶段目标。 五、第二步：通过系统指令固定行为 Dify 的关键能力在于系统级指令。 系统指令的作用不是提示，而是长期生效的行为约束。 其价值在于： 示例结构（抽象）： 只要系统指令保持不变，模型行为就具有可重复性。 …

LocalLLM

NUC8 上使用 Ollama + Open WebUI 的轻量化本地大模型实践

背景与目标 在无 GPU、仅依赖 CPU 的环境中运行本地大模型，核心目标并不是追求参数规模，而是可长期运行、响应稳定、不干扰其他服务。本文记录了一套经过验证的实践方案：使用 Ollama 作为推理引擎，配合 Open WebUI 提供交互界面，并围绕模型体量、内存常驻、容器健康状态等关键点进行取舍与优化。 运行环境与约束条件 在该条件下，7B 级模型可以加载，但并不适合作为日常默认模型，会带来明显的加载延迟与系统压力。 模型选择策略（按体量与用途分层） 推荐的本地模型梯度 体量 模型示例 主要用途 评价 ~1.5B Qwen2.5 1.5B 兜底、系统繁忙时 极轻量，可长期常驻 ~2B Phi-3 Mini 默认工程模型 推理快、代码/脚本稳定 ~3B Qwen2.5 3B 中文/日语表达 语言自然度更好 ~7B Qwen2.5 7B 实验/对比 不建议常驻 结论：在 CPU-only 环境中，3B 以内是“甜点区间”，7B 更适合作为偶尔实验而非常驻。 部署架构概览 模型文件统一存放在持久化卷中，支持多模型并存，下载一次即可长期复用。 Docker Compose 配置（关键点） 在保持原有结构与注释的前提下，仅增加了模型内存常驻策略： …

OpenWebUI

OpenWebUI + Ollama 的模型权限与语音能力整理

本文记录一次在自托管环境中使用 OpenWebUI + Ollama 的实际配置与排查过程，重点包括： 全文基于实践总结，不涉及任何具体主机名、端口、路径等敏感信息。 一、模型存在 ≠ 用户可用：OpenWebUI 的权限设计 在 OpenWebUI 中，即使已经完成以下操作： 普通用户依然可能看到： 模型列表为空 这并不是部署错误，而是 OpenWebUI 的权限模型设计所致。 1. 两个容易混淆的概念 OpenWebUI 将模型拆分为两个维度： 维度 含义 Enable 模型在系统中可用 Access / Visibility 哪些用户可以看到并使用 启用模型 并不等于 普通用户可见。 二、正确的模型授权方式（全局放行） 推荐做法是：由管理员统一放行模型给所有用户。 操作路径（管理员账号） 完成后，模型将正常出现在普通用户的模型列表中。 三、为什么会这样设计？ 这种设计对自托管场景其实是合理的： 对于长期运行的私有实例，这是一个偏“企业级”的设计思路。 四、OpenWebUI 是否支持语音对话？ 简短结论 支持，但不是一键式语音助手。 OpenWebUI 的定位是： UI + 编排层，而不是语音模型本体。 五、语音能力的模块化拆分 …

OpenWebUI

Open WebUI + Ollama 反代与 WebSocket 400 问题排查记录

本文记录一次在 Docker + Nginx 反向代理 场景下，部署 Open WebUI + Ollama 时，遇到 WebSocket 400 与前端解析异常的问题，以及完整的定位与修复过程。本文采用工程记录风格，省略与具体环境强绑定的细节（路径、域名、IP 已脱敏），可作为同类问题的参考模板。 一、问题现象 部署完成后，表现为： 直观感受是： 二、初步排查：确认不是服务本身的问题 1. 确认容器状态 2. 直接访问容器端口 通过本机或内网直接访问 WebUI 暴露端口： 说明： 问题不在 Open WebUI 或 Ollama 本身 三、确认问题边界：反代之后才出问题 当通过 Nginx 反代访问时： 结论很明确： 问题发生在 Nginx → Open WebUI 的反向代理层 四、问题本质分析 1. Open WebUI 使用了什么通信机制？ 2. …

OpenWebUI

自托管 Ollama + Open WebUI 实战记录（Docker Compose）

本文记录一次从 Ollama 后端模型服务 到 Open WebUI 前端界面 的完整搭建过程，重点放在 Docker Compose 架构、数据卷持久化、模型管理与常见误区。文中已对主机名、IP、端口等私人信息做统一脱敏处理。 一、目标与前提 目标 前提环境 二、关键概念澄清 在开始之前，先澄清几个容易混淆的点。 1️⃣ Ollama 版本 ≠ 模型大小 二者是完全不同的层级，不要混为一谈。 2️⃣ 7B 是什么 3️⃣ WebUI 与 Ollama 的关系 三、Docker Compose 结构设计 设计原则 四、最终 Docker Compose 配置（脱敏版） 五、启动流程 1️⃣ 启动服务 确认两个容器均为 Up 状态。 2️⃣ 下载模型（重点） 模型必须通过运行中的 Ollama 容器下载，否则会报错。 下载完成后验证： …

OpenWebUI

Open WebUI 与 Ollama 的部署与权限设计实践

摘要 本文记录了一套可复制、低风险的 Open WebUI + Ollama 自托管方案，重点讨论二者是否应部署在同一个 Docker Compose 中、认证与管理员模型的设计，以及符合最小权限原则的日常使用方式。本文面向已有 Docker / 反向代理经验的读者，采用工程化视角，避免与具体路径、端口、域名等敏感信息绑定。 1. Open WebUI 的定位 Open WebUI 是为大语言模型交互设计的通用前端（Chat UI 层）： 其职责聚焦在用户交互、会话管理、权限控制与系统配置，而非模型训练或推理本身。 2. 与 Ollama 放在同一个 Compose 中是否合理 2.1 结论 在“单机一体化服务”的使用场景下，将 Open WebUI 与 Ollama 放在同一个 Docker Compose 文件中是高度合理的默认选择。 2.2 合理性依据 生命周期一致 安全边界清晰 运维成本低 故障域符合依赖关系 2.3 何时不建议放在一起 3. Open …

LocalLLM

在低功耗服务器上自托管 Qwen 7B 并通过公网安全访问

随着大模型能力的提升，将语言模型部署到本地服务器（self-hosted）已成为追求数据自治、隐私保护与长期可控性用户的一种现实选择。本文以 Qwen 7B 为例，记录了一种在中低配置服务器上，通过 Docker + Web UI + 公网反向代理 的方式，构建“类似 ChatGPT 的网页使用体验”的完整方案。全文不包含任何真实路径、端口或域名等敏感信息，仅保留通用架构与可复现的工程思路。 一、为什么选择本地部署 Qwen 7B 选择本地部署而非完全依赖云端模型，主要基于以下考虑： 需要明确的是，本地 7B 级模型并非用来“对标”云端超大模型，而是作为一个稳定、可控、随时可用的本地认知工具。 二、硬件与资源需求（现实可行范围） 本文方案基于一台低功耗小型服务器，而非专业 GPU 服务器。 推荐最低配置（CPU-only） 虚拟化场景下的资源分配 在虚拟化环境中（如 PVE / KVM）： 该资源条件下，可长期运行： 三、整体架构设计（不暴露 AI 节点） 核心设计原则 逻辑拓扑（文字描述） 四、容器化部署思路（Docker） 组件拆分 两者均通过 Docker 容器运行，数据通过 volume 持久化。 设计要点 五、公网访问的安全策略 反向代理职责 反向代理服务器承担所有“对外风险”： 必须具备的安全措施 通过该方式，即使域名被扫描，攻击面也仅限于反代层。 六、实际使用体验与定位 …

AI

基于 Ubuntu Server 的私有化高精度语音转写服务搭建（两按钮极简版）

目标：在一台 Ubuntu Server + RTX 2080 的环境中，部署基于 Whisper large-v2 的语音转写服务，通过浏览器访问，仅保留两种交互模式：1）一个按钮：点击开始录音；再次点击自动停止并上传识别。2）一个按钮：上传本地音频文件识别。设计重点：高准确率、整段识别、私有部署、无外网依赖、最少交互控件。 1. 架构与工作流 1.1 架构概览 1.2 工作过程（与需求对齐） 2. 环境准备 2.1 系统与驱动（Ubuntu 20.04/22.04/24.04 皆可） 2.2 NVIDIA 驱动与 CUDA（RTX 2080 / Turing） 出现显卡与驱动信息即为正常。 3. 项目结构 4. Python 依赖与模型 4.1 创建虚拟环境并安装依赖 4.2 说明：为何选择 faster-whisper 5. 后端代码 5.1 transcribe.py 5.2 app.py 6. 前端页面（两按钮极简 UI） 6.1 …

AI

AI工具比较

在AI技术加速发展的今天，我们面对着一系列性能優积、功能多样化的AI工具和平台。本文将深入测评目前流行皆与AI相关的六大平台：ChatGPT、Gemini、Claude、Microsoft Copilot、Poe 以及 Perplexity。 一、ChatGPT – 行业领头者的表现 由 OpenAI 打造的 ChatGPT 早在 2022 年末间间出亮。它操作界面简洁，最新的 GPT-4o 版本支持图片解析、互动形式多样。它对于文本生成、代码调试和备储知识有着极高的出版率。 优势： 不足： 二、Gemini – Google 的多模态应用性探索 前身为 Bard 的 Gemini 是 Google 打造的应用型 AI平台。Gemini 2.5 Pro 已于这些月日正式揭票，支持视频、图片、音频和文本同时分析，为使用者带来全新体验。 优势： 不足： 三、Claude – 远达性实力舍的智能对话者 Anthropic 发展的 Claude 系列 AI 模型对于“精细化体验”、“论证性思维”有着明显优势。Claude 3 系列在文本辅助、分析件任务中成绩亮眼，是很多创意人士的黑马选择。 优势： 不足： 四、Microsoft Copilot …

Whisper

使用 Docker 快速搭建 Whisper 网页音频转写服务（附登录保护思路）

在需要进行多语言音频转写时，OpenAI Whisper 模型提供了极高的准确率和多语言支持。为了更方便地部署到服务器并供多人使用，结合 Docker 容器技术可以快速搭建一个带网页界面的语音识别服务。 本教程以 whisper-webui 项目为核心，结合 NVIDIA GPU（如 GTX 1080）加速推理，构建一个可上传音频、自动或手动选择语言并返回转写结果的完整服务。 💡 准备条件 ✅ NVIDIA 驱动与 CUDA 配置检查 首先验证 GPU 是否正常识别。 nvidia-smi 如果显示显卡信息，说明驱动配置无误。 ✅ Docker 与 NVIDIA Container Toolkit 安装 在服务器上安装 Docker： curl -fsSL https://get.docker.com | bash 安装 NVIDIA Container Toolkit 以支持容器内调用 GPU： distribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey …