[New App] ShenNongMi — TCM Knowledge Graph RAG with LangGraph + Neo4j + DeepSeek

[Happy-Chen-CH]

Description

ShenNongMi (神农觅 — "The Divine Farmer Seeks") is a comprehensive Traditional Chinese Medicine (TCM) knowledge platform that combines Neo4j Knowledge Graph, LangGraph intelligent workflows, and DeepSeek LLM with LoRA fine-tuning.

Unlike generic medical QA bots, ShenNongMi is purpose-built for the TCM domain — covering herbal formulas, medicinal herbs, symptoms, efficacy, diseases, and classical TCM texts — with a structured knowledge graph of 6 entity types and 6 relationship types.

Category

rag_tutorials (Knowledge Graph RAG)

Key Features

Feature	Description
🧠 TCM Knowledge Q&A	Neo4j-powered graph queries with LLM-generated Cypher, FAISS entity matching, and LangGraph workflow orchestration
📝 RED Content Generator	AI-powered TCM wellness content creation with Jimeng AI image generation + Playwright browser automation for one-click publishing
🔍 Knowledge Graph Explorer	Interactive browsing of the full TCM knowledge network in Neo4j
🎯 Dual-Model Intent Recognition	Fine-tuned RoBERTa + fastText ensemble for classifying TCM queries vs. publishing requests

Tech Stack

Layer	Technology
Frontend	Streamlit (multi-page)
Backend	FastAPI (SSE streaming)
Workflow	LangGraph
LLM	DeepSeek v4 (OpenAI-compatible)
Graph DB	Neo4j 5.x
Vector Search	FAISS + BGE-Large-Zh-v1.5
Intent Recognition	RoBERTa + fastText (fine-tuned)
Image Gen	Volcengine Jimeng AI
Browser Automation	Playwright

Why This Fits

• Fills a gap: No existing project in the repo covers Traditional Chinese Medicine or domain-specific knowledge graphs
• Demonstrates real-world RAG: Not a toy example — shows how to combine graph databases, vector search, and LLMs in a production-style pipeline
• Unique tech combination: Neo4j + LangGraph + fine-tuned intent recognition is a pattern not yet represented in the repo
• Fully runnable: Includes data crawling scripts, knowledge extraction pipeline, integration tests, and both frontend/backend services

Repository

https://github.com/Happy-Chen-CH/ShenNongMi

Screenshots

The project includes app screenshots in the picture/ directory showing the TCM Q&A interface, content generator, and knowledge graph explorer.

[Happy-Chen-CH]

好问题！幂等设计分布在多个层级，按从底到顶来说：

1. Neo4j 数据层（核心）

• 实体以 (name, type) 二元组作为幂等键，关系以 (subject, relation, object, subject_type, object_type) 五元组作为幂等键
• Cypher 全部使用 MERGE 语义而非 CREATE，重复导入天然幂等，不会产生重复节点或边
• 增量导入时，同名实体的属性会合并（属性更丰富的优先）

2. 知识图谱导入管道

• 导入前先在内存中按上述幂等键去重，属性冲突时保留信息更全的记录
• 支持 FORCE_CLEAR_NEO4J 环境变量控制全量/增量模式

3. LangGraph 工作流层

• 利用 LangGraph 内置的 thread_id config 做状态检查点（checkpointing），同一个 thread 的重复执行会从已保存的状态恢复，保证工作流级别的幂等

4. 会话层

• 每次对话有独立的 session_id（12 位 hex），消息存储为 {session_id}.json，天然隔离

目前没有的：FastAPI 层没有显式的 Idempotency-Key header 去重。这个确实是生产化可以加的点，感谢指出！🙏

具体实现在 graph_importer.py 里，欢迎交流 🤝

[Happy-Chen-CH]

可以，主要从三个维度来看差异：

---

🆚 对比通用 RAG / 医疗 AI 项目

维度	通用 RAG 项目	通用医疗 AI Agent	神农觅
知识表征	非结构化文档 + 向量检索	通用医学知识	结构化知识图谱 Neo4j (6实体×6关系)
回答方式	语义相似度匹配 + LLM 摘要	LLM 常识推理	Cypher 生成 → 精确图查询，可追溯关系路径
领域深度	通用	西医/影像/健身	中医垂直领域，覆盖方剂、药材、性味归经、典籍
查准率保障	依赖向量相似度，可能召回无关内容	依赖 LLM 知识边界	FAISS 实体匹配 + Cypher 校验节点，双重保障
可解释性	「根据文档…」黑盒	LLM 黑盒推理	可见知识图谱路径：药材→归经→方剂→主治，链路透明

🆚 对比通用知识图谱 RAG（如 repo 里已有的 KG RAG with Citations）

对比点	KG RAG with Citations	神农觅
知识来源	通用 Wikidata / 开放图谱	自爬→LLM 抽取→Neo4j 导入，完整数据管道
意图识别	单一 LLM 判断	RoBERTa + fastText 双模型微调，专为中医场景训练
业务链路	纯问答	问答 + 内容生成 + 自动发布，端到端闭环
前端	无 / 简单	Streamlit 3 页面（问答、生成器、图谱浏览器）
后端	脚本式	FastAPI + SSE 流式生产级架构
本地化	英文为主	全中文优化：BGE-Large-Zh-v1.5 嵌入 + jieba 分词

🎯 核心差异一句话

别人用向量搜文档回答问题，我们用 KG Cypher 精确查询 + 可追溯链路 回答中医问题；别人只做问答，我们做 问答→创作→发布 的完整闭环。

---

当然说实话，生产化还有很多可做的：API 层的幂等键（你上一个问题提到的 😄）、更完善的 Cypher 校验、中医辨证论治的推理链等，都是值得深入的方向。

[Happy-Chen-CH]

有，两种模型各一套，都很简单：

fastText 二分类（小红书发布意图）

__label__发布 帮 我 写篇 补气血 的 笔记 发小红书
__label__非发布 工伤 认定 需要 什么 材料

格式：__label__类别 + 空格 + jieba 分词文本。3600 条训练 + 400 条验证。

RoBERTa 二分类（中医意图）

text,target
安神助眠茶配方！,是
小红书怎么涨粉,否

格式：CSV 两列，text,target，target 取 是/否。4000 条，正负 1:1。

数据生成用模板填充 + 笛卡尔积组合，脚本在看 __007__fine_tune/intent_recognition_data/generate_training_data.py。实际使用时不跑训练，直接用预训练好的模型推理，两个模型结果取 AND 逻辑。

[Happy-Chen-CH]

是的，每个模型都分开了：

__007__fine_tune/
├── fasttext_xiaohongshu_recognition/
│   ├── train_fasttext_intent.py    # 训练
│   └── fasttext_predictor.py       # 推理
└── chineserobertawwmext_zhongyi_recognition/
    ├── train_roberta_tcm_intent.py # 训练（LoRA）
    └── roberta_tcm_predictor.py    # 推理

训练产物（.bin/.pkl）不提交，.gitignore 已排除，推理时直接加载预训练权重。