客服机器人答非所问,很多时候不是模型笨,是知识库没接对:文档切得太碎、召回不准、提示词里塞了太多无关内容。Dify 把模型、知识库、工作流和前端串在一起,省掉自己写 RAG 的时间,但部署和调优仍有坑。
Dify 是什么
Dify 是开源的 LLM 应用开发平台:可视化工作流、知识库检索、Agent、API 和 WebApp 都有。它不训练模型,负责把模型接进来、把资料喂进去、把回答吐出来。适合企业知识库、客服助手、内部问答。
部署要求
官方 Docker Compose 一套起,包含 API、Worker、Web、Postgres、Redis、向量库和 Nginx。建议 4 核 8G 起步,知识库大就加内存和磁盘。
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d
默认会起 Nginx,80/443 对外;生产环境把域名和证书配好,别长期用 IP 加端口。
接模型
Dify 支持 OpenAI 兼容接口,所以 Ollama、vLLM、云端 API 都能接。在“模型供应商”里填 Base URL 和 Key,注意两个模型分开选:
- 对话模型:负责生成回答,如 Qwen、Llama
- Embedding 模型:负责把文档转向量,如 bge-m3
Embedding 模型和对话模型不是一回事,只配对话模型,知识库建不起来。
知识库怎么建
- 选 Embedding 模型,确认维度和向量库匹配
- 上传文档,按段落或固定长度切分,别一切到底
- 开混合检索或重排,提升召回准确率
- 用真实问题测召回,再调 topK 和阈值
切分长度没有统一答案:FAQ 按问答切,手册按章节切,合同按条款切。切得太碎会丢上下文,切得太大会稀释相关性。

香港节点延迟
Dify 的延迟分两段:用户到 Dify、Dify 到模型。香港节点对大陆用户延迟低,适合前台问答;如果模型在美国,Dify 到模型这一段会拖慢首 token。
- 香港:大陆访问低延迟,适合 WebApp 和 API 入口
- 新加坡:东南亚用户近,大陆稍慢
- 美国:模型 API 近,但大陆访问慢
常见做法是香港放 Dify,模型走日本或美国;如果模型也在香港/日本,首 token 会明显更快。别把 Dify 和模型都放美国,然后抱怨大陆打开慢。

HTTPS 和域名
Dify 的 WebApp 和 API 都要 HTTPS,Nginx 反代时注意上传大小和超时:
client_max_body_size 50m;
proxy_read_timeout 300s;
proxy_buffering off;
知识库上传大文件,限制太小会 413;流式输出不关缓冲,前端会等很久才显示。

权限和团队
Dify 有工作空间和成员角色,但细粒度权限有限。企业用要规划:谁建应用、谁管知识库、谁看日志。别把所有成员都设管理员,提示词和 API Key 会乱。
备份和升级
要备份 Postgres、向量库、上传文件和 .env;升级前看 release notes,先在小环境跑。Dify 版本迭代快,跨大版本升级可能改表结构,别直接在生产上 pull latest。
工作流怎么搭
先把“检索 → 拼提示词 → 生成”跑通,再加条件分支和工具调用;节点越多越难排错,第一版控制在 5 个节点内。
检索调优
召回不准先看切分和 Embedding,再看 topK、阈值和重排;别用大模型硬补,成本和延迟都会上去。
监控
看检索命中率、首 token 延迟、失败率和 token 成本;知识库更新后要回归测试,避免旧答案残留。
和 FastGPT 的区别
Dify 的工作流和插件更完整,FastGPT 更偏知识库问答;选哪个看团队更需要的形态,不用两个都上。
数据安全
知识库可能含合同、报价、内部文档;部署在自己机器上,至少数据不出境,但备份、权限和日志仍要管。
适合谁
有内部文档、想做问答和客服助手的团队最合适;没有资料、只想聊天的场景,直接接 API 更省事。
成本
Dify 开源免费,成本在服务器、模型 API 和人力;知识库越大,向量库内存和磁盘越贵。
知识库不是一次建完,文档更新就要重新索引,流程要留好。
先让一个部门用起来,再推广,别一开始全公司上。
权限和审计先于功能,出事再补就晚了。
先跑通一个真实问题,比搭十个演示流程有用。
知识库的质量,决定回答的上限。
别把 Dify 当万能,它只是把模型和资料接起来。
上线前用真实文档跑 50 个问题,比看演示视频靠谱。
能回答、答得准、答得快,三件事分开评估。
文档更新后要重建索引,不然回答还是旧的;这一步写进流程,别靠人记。
知识库不是越大约好,先把高频问题覆盖住;冷门文档放后面,别让检索被噪声带偏。
先解决“找得到”,再解决“答得好”。
先把一个部门跑顺,再复制到其他部门;流程和权限一起复制,别只复制应用。
别急着上多模型路由,先把一个模型和一个知识库跑稳,比堆十个演示流程更有用啊。!
常见问题 FAQ
Q1:Dify 需要多大配置?
4 核 8G 起步;知识库大、并发高就加内存和磁盘,向量库很吃内存。
Q2:一定要 GPU 吗?
不一定。Dify 本身不跑模型,模型可以在别处;Embedding 可以用 API 或本地小模型。
Q3:香港节点合适吗?
大陆用户为主就合适;模型放日本/美国时,注意 Dify 到模型这一段延迟。
Q4:知识库召回不准怎么办?
先看切分,再看 Embedding 模型,最后调 topK 和重排;别一上来换大模型。
Q5:能商用吗?
看 Dify 许可证和模型许可证;商用前确认授权、数据和隐私合规。
总结
Dify 部署不难,难在模型和知识库的搭配:对话模型和 Embedding 模型分开配,文档按业务切分,香港做入口、日本/美国放模型。先跑通一个知识库,再谈工作流和 Agent。
需要一台机器跑 Dify,不确定配置,先按小时开一台萤光云香港节点,先把知识库和延迟跑通。







