住院首次病程记录智能生成:Clinical-Entry-agent项目复盘

这篇博客完整记录我们参加”临床智录”赛题的项目 Clinical-Entry-agent:用大模型(qwen3.8-27b)读取入院资料片段,自动生成住院首次病程记录草稿。项目从 11-06 起步到 11-15 收官,历时约十天,最终在 1337 例真实病历的全量压测中拿到 96.7% 的成功率。本文从输入输出协议、流水线代码、校验器实现、数据转换到最终效果逐层展开。

仅用于教学比赛与评审,不用于真实诊疗。文中所有病例数据均为虚构/脱敏的教学数据。

1. 任务与协议

系统读取赛方 input.json,逐例调用 Chat Completions 兼容接口,写出 output.json。输入长这样(真实测试集 REAL-0169,一例胸腔积液病例):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"case_id": "REAL-0169",
"record_cutoff": "T0",
"sources": [
{ "source_id": "S01",
"content": "患者,男,52岁。咳嗽、胸闷、气短1周。因咳嗽、胸闷、气短1周收入住院。" },
{ "source_id": "S02",
"content": "既往史、个人史、过敏史、生育史、婚育史、流行病史均未提供。" },
{ "source_id": "S03",
"content": "T 37.5℃,R 24/min,口唇发绀,左锁骨上可触及一花生米大之淋巴结,质硬、固定、无压痛,气管向左侧移位,右肺叩诊呈浊音、语颤明显减弱、呼吸音消失。" },
{ "source_id": "S04",
"content": "胸腔积液常规示蛋白含量35g/L,WBC 850×106/L,中性粒细胞占20%,淋巴细胞占80%。LDH 800U/L,PPD(+)。" }
]
}

每个病例就是若干带编号的原文片段 + 一个资料截止点。输出则是结构化 JSON:三段正文(病例特点 / 拟诊讨论 / 诊疗计划)+ 依据说明 evidence + 待核事项 review_items:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
"case_id": "REAL-0169",
"status": "success",
"medical_record": {
"case_features": "患者男,52岁,因咳嗽、胸闷、气短1周收入住院。查体示T 37.5℃……",
"diagnostic_discussion": "患者以咳嗽、胸闷、气短为主诉……目前诊断待查,需进一步检查明确。",
"plan": "拟复查血常规、生化全套;拟行胸部增强CT检查;拟行胸腔穿刺术送检积液细胞学……",
"evidence": [
{ "statement": "查体见口唇发绀,左锁骨上可触及一花生米大之淋巴结,质硬、固定、无压痛",
"source_ids": ["S03"], "kind": "fact" },
{ "statement": "左锁骨上淋巴结质硬、固定,高度怀疑恶性肿瘤转移",
"source_ids": ["S03"], "kind": "inference" }
],
"review_items": [
"需核实既往是否有结核病史或肿瘤病史",
"需确认患者过敏史以指导胸腔穿刺用药安全"
]
}
}

注意 evidence 的两级设计:fact 是资料原有事实,inference 是基于资料的推断——不允许把推断伪装成事实。每条还绑定 source_ids,可以逐条回溯到原文片段。

赛题红线决定了整个系统的性格:

  • 只用截止点及此前的资料,不引入后续诊断/检查/结局
  • 数值、单位、时序、否定关系一字不差;不把”未提供”写成”正常”
  • 不把计划写成已实施
  • 输出条数与顺序恒等于输入,失败记录不隐瞒
  • 无密钥启动、不发 Authorization 头、模型名与地址只从 .env 读

一句话概括:宁缺毋假。这套约束后来全部落在校验器里。

2. 整体架构

1
2
3
4
5
6
7
8
9
10
11
12
main.py              # 唯一入口:读 input.json → 逐例走流水线 → 原子写 output.json
src/
pipeline.py # 三模式编排 + 降级路径 + 三级处置(372 行)
validator.py # 校验器:14 条规则、四级处置(1251 行,全项目最大模块)
model_client.py # HTTP 调用、固定生成参数、400 降级、退避重试(336 行)
reference_ranges.py# 本地检验参考区间查表(离线,不耗 API)
prompting.py # Prompt 加载与占位符渲染
budget.py # 配额记账与模式决策表
prompts/ # system/user + stage1/2/3 提示词
tools/
mock_server.py # 本地 Mock(含三 stage 固定响应与故障注入)
review_report.py # input+output → 并排对照 HTML 预览

三模式固定编排

按内容策略和单例 API 配额,流水线有三种模式:

模式 调用次数 内容 触发条件
baseline 1 v3 分层规则单发 performance 策略(默认)/ 配额不足
extract_enhanced 2+1 事实抽取 → 分析 → 终稿 quality 策略且配额足够
full 2+1 上者 + 本地参考区间查表注入 stage2 quality 策略且配额充足

模式选择就是一个纯函数,src/budget.py:

1
2
3
4
5
6
7
8
def select_mode(strategy: str, max_quota: int) -> str:
"""按决策表选流水线模式。"""
reserve = config.RESERVE_RETRY_IN_SELECT
if strategy == "quality":
for mode in ("full", "extract_enhanced", "baseline"):
if pipeline_call_count(mode) + reserve <= max_quota:
return mode
return "baseline"

中间 stage 失败不重试,直接降级为单发 baseline(记 degraded=True + 原因);降级后仍失败才记 failed。降级不是静默兜底,一切留痕在 run_log.json。

staged 流水线的第一环:事实抽取

full 模式的 stage1 是一个独立的”抽取引擎”角色,它的 system prompt 值得全文贴出,因为它把 LLM 应用开发里最容易被忽视的一条原则写到了极致——先冻结事实,再做推理:

1
2
3
4
5
6
7
8
9
10
11
你是临床事实抽取引擎,服务于住院首次病程记录生成流水线的第一步。

任务:从下方病例资料中**逐字抽取**结构化事实,供后续分析使用。

铁律:
1. 只抽取,不推理、不诊断、不建议、不改写、不总结。
2. 数值与单位一字不差(如"82g/L"不得写成"82 g/L 偏低"或换算单位)……
3. 否定与缺失表述原样保留:"未见""未提供""不详"不得改写为"正常""阴性"。
4. 每条事实必须携带真实 source_id;无法定位来源的内容不得抽取。
5. 缺失项列入 missing_items,只写条目名,不写推测。
6. 时间信息按原文表述记录(如"2周前""近2周"),不换算、不推断具体日期。

抽取产出 key_facts / lab_values / negatives / missing_items / timeline 五类结构,stage2 的临床分析只能基于这份”冻结的事实清单”进行,stage3 终稿再继承 v3 的全部写作规则。拆成三环的收益很直接:每一环的错误可以被单独定位——数值失真找 stage1,鉴别诊断跑偏找 stage2,文风问题找 stage3。

本地参考区间查表(full 模式专属)

stage1 抽出的检验数值会先在本地查一遍参考区间表(不消耗任何 API 调用),把”偏高/偏低/正常”作为内部提示注入 stage2:

1
2
3
4
5
6
7
8
9
# resources/reference_ranges.json(节选)
{
"name": "血红蛋白",
"aliases": ["Hb", "HGB", "血色素"],
"canonical_unit": "g/L",
"unit_conversions": { "g/dL": 10.0 },
"ranges": { "default": [115, 175], "male": [130, 175], "female": [115, 150] },
"verified": false
}

单位归一化是这个模块的主要工作量(μ/µ 微符号统一、X109/L→10^9/L 变体、大小写 /l→/L)。查不到的项一律返回 unknown 而不是猜——缺项、多义或非数值输入都不得臆测。所有条目 verified=false(待医学顾问核对),因此有一条硬规则:区间结果仅供模型内部排序,禁止把参考区间写进正文。

3. 校验器:项目的核心资产

src/validator.py 有 1251 行,比流水线本体大三倍——这不是失控,而是刻意的:**这个项目的难点从来不是”让模型写出来”,而是”证明它没瞎写”**。

设计原则写在模块 docstring 第一句:只报告问题,不改写正文。14 条规则按处置级别分四档:

级别 规则举例 处置
blocking schema(缺段/空正文/evidence 类型错) 直接 failed,不重试
hard numeric_fabrication / unknown_source_id / plan_implemented / definitive_diagnosis 默认 failed(宁缺毋假)
fixable missing_info_rewrite / summary_missing / enumerated_body / text_too_short 带反馈重试 1 次
warning text_too_long / 弱表述已修复等 仅入账

数值回溯:最难的一条规则

numeric_fabrication 要求三段正文里的每个”数值+单位”都能在原文 sources 中找到,否则判为疑似虚构。听起来就是一条正则的事,实际写成了这样:

1
2
3
4
5
6
7
8
9
10
11
def _extract_quantities(text: str) -> List[Tuple[float, str, str]]:
# 先做全角半角与中文数字规范化:原文"两周"与输出"2周"必须视为同一数值
normalized = _cn_numeral_to_arabic(_to_halfwidth(text))
...
for match in _QUANTITY_RE.finditer(normalized):
unit = _normalize_unit(match.group(2))
if unit == "小时" and normalized[match.end():].startswith(_EXAM_SUFFIX_AFTER_HOUR):
continue # "24小时尿蛋白定量"这类检查专名,豁免
found.append((float(num_str), unit, match.group(0)))
found.extend(_fusion_variants(normalized, match.start(1), num_str, unit))
...

每一个分支背后都是一例真实误杀(详见第 6 节踩坑实录):中文数字”两周”被规范成”2周”、OCR 错字 ALTl80U/L(字母 l 混进数字 1)、项目名粘连 C30.4g/L(实为 C3=0.4g/L)、血压对不带单位 BP 180/120、并列枚举 Apgar 评分 4、6、8 分……这些全是 1337 例真实数据压出来的形态。

带反馈重试:fixable 的出路

校验发现 fixable 缺陷时,不是简单重掷骰子,而是把缺陷清单变成下一轮对话的反馈,src/pipeline.py:

1
2
3
4
5
6
7
feedback = build_retry_feedback(grouped[LEVEL_FIXABLE])
retry_messages = [
{"role": "system", "content": self._baseline_system},
{"role": "user", "content": render_user_prompt(self._baseline_user_tpl, case)},
{"role": "assistant", "content": content[:FEEDBACK_OUTPUT_CLIP]},
{"role": "user", "content": feedback}, # ← "上一版输出存在以下缺陷,请重新生成并全部修正"
]

build_retry_feedback 把每条缺陷格式化成 - [rule] message 列表拼进去。这相当于给模型一次”带着批改重写作文”的机会,实测对收束句缺失、列点腔这类格式问题的修复率很高。

红线单一来源

这是我最想安利给别人的一个设计。禁词表、参考区间、校验规则共享同一份定义,提示词通过占位符把它们注入给模型:

1
2
# config.py —— 禁词表唯一定义处
BAN_EXECUTED_WORDS = ["已予", "已实施", "已完成", "给予", ...]
1
2
3
# prompts/system_prompt.txt 第 7 条
诊疗计划只能是未来动作,用"拟/建议/复查/观察/安排",
不得出现{ban_executed_words}等已实施类措辞。

校验器 _check_implemented 用的也是同一个表。这样保证”写的约束 = 查的约束”,永远不会出现”提示词没禁止但校验器判死”的孤儿错误。

4. 运行日志与可复现性

固定生成参数写在 src/model_client.py 顶部,一眼可见:

1
2
3
4
5
6
GENERATION_PARAMS: Dict[str, Any] = {
"temperature": 0.1,
"top_p": 0.5,
"seed": 20261106,
"enable_thinking": False,
}

其中关闭思考模式是个大头:实测单例耗时从 130~195s 降到 ~20s——思考 token 占总生成的 85%,而对这个”照抄+组织”型任务帮助有限。若主办方接口不认额外字段,HTTP 400 自动降级为最小请求体重试,实际使用的模式记录在 run_log 的 params_mode_final 供复核。

run_log.json 为线下复现核验而设计,逐例记录时间戳、API 调用数、每个 stage 的 tokens。摘一条真实的:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{
"case_id": "REAL-0012",
"elapsed_ms": 117350,
"status": "success",
"api_calls": 4,
"pipeline_mode": "full",
"degraded": false,
"validation_warnings": [
"可修复缺陷未消除(提示级放行):[missing_info_coverage] 原文有 3 项缺失未在正文或 review_items 中体现:生育史:、婚育史:、流行病史:……"
],
"stages": {
"stage1_extract": { "calls": 1, "elapsed_ms": 28813, "prompt_tokens": 1117, "completion_tokens": 957 },
"stage2_analysis": { "calls": 1, "elapsed_ms": 27975, "prompt_tokens": 2907, "completion_tokens": 908 },
"stage3_final": { "calls": 1, "elapsed_ms": 30830, "prompt_tokens": 3866, "completion_tokens": 960 },
"validation_retry": { "calls": 1, "elapsed_ms": 29718, "prompt_tokens": 3044, "completion_tokens": 945 }
}
}

这条日志本身就讲了完整故事:full 模式三次调用 + 一次带反馈重试 = 4 次 API 调用,117 秒,重试后仍有缺失覆盖警告但按提示级放行。

容错方面:单例配额 = min(QUOTA, 整批余额),整批熔断防费用失控;并发由 CONCURRENCY 控制(默认 1 串行,开发端点设 4),错峰闸 REQUEST_STAGGER_SEC 保证两次请求发出间隔 ≥N 秒——prefill 不撞车、解码仍并行;output.json 用临时文件 + os.replace 原子写,中断不产生半成品。

5. 数据集转换:把真实病历变成 input.json

导师提供了 1337 例中文真实病历(condition/diseases/analyses/diagnoses 字段),要拿它当测试集,得先转换成赛题的 sources 格式。转换同样用 LLM 完成,但配了一道数值保真校验和一层机械兜底,dev/convert_dataset.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
SYSTEM = (
"你是临床教学比赛的数据整理助手。把给定病历字段重组为赛题资料片段 sources。"
"硬性规则:\n"
"1. 只允许重排/合并原始字段内容,严禁新增任何事实、诊断、判断或数值。\n"
"2. 所有数字、单位、时间、否定表述必须一字不差保留……\n"
"3. 组织方式(固定四段):S01=人口学+主诉+现病史;S02=既往史、个人史、过敏史、"
"生育史、婚育史、流行病史(缺失项逐项写明"未提供");S03=体格检查;S04=辅助检查。\n"
"4. 只返回 JSON,不要解释、不要代码围栏。"
)

def mechanical_sources(cond: dict):
"""保真兜底:所有非空字段分段穷罗入 sources,缺失项逐项标注。"""
age = cond.get("age")
age_str = "{}岁".format(age) if age else "年龄未提供" # 0/None 均视为缺失(数据集中 0 为占位符)
...

流程:一例一次调用 → 提取原文全部数字集合 → 校验转换结果是否一个不少 → 失败带 hint 重试一次 → 仍失败直接用 mechanical_sources 逐字拼接兜底。金标准(diseases/diagnoses)独立存放,绝不进入 sources,防止答案泄漏。最终 1337/1337 转换成功,保真审计 0 例缺失。

数据集转换方式:模型转换 1245 例(93.1%),机械兜底 92 例(6.9%);右侧为保真重试分布

6. 全量测试结果

full 模式、4 并发、错峰 2.5s,通宵跑完 1337 例:

指标 数值
成功 / 失败 1293 / 44(96.7%)
降级 3 例
API 总调用 5319 次(均值 3.98/例)
单例耗时 中位 101.3s,p90 124.2s
正文长度 中位 830 字(赛题建议区间 800–1600)
金标准病种覆盖 均值 0.819,中位 1.00

处理结果分布(左)与失败错误码分布(右)

单例耗时分布(左)与单例 API 调用次数分布(右)

金标准病种覆盖率(左)与三段正文长度分布(右)

44 例失败全部是硬缺陷拦截或小模型 JSON 输出故障,无链路级错误。其中 35 例 NUMERIC_FABRICATION 经逐例复盘:19 例是模型真实错配(把”近 3 年夜尿增多”写成”3 天”、把年龄 20 写成”20%”),16 例属校验器盲区误杀——模型其实写对了,但回溯提取器没能匹配回原文。这个 19:16 的比例很能说明问题:剩余失败里将近一半仍然是模型的锅,另一半是评测系统自己的锅。

校验提示规则分布(提示级放行,不阻断交付)

7. 踩坑实录:真实数据压出的迭代

每一行都是”上线前觉得不可能,上线后发现天天发生”:

# 问题 后果 修复
1 字母紧挨数字的单位(WBC8.46×109/L) 如实复述被判数值虚构、整例误杀 前导断言放宽 + X109/L 变体 + 血压斜杠对
2 编号列点腔(”1. 患者老年男性,2. ……”) 一眼 AI、个体化丢分 提示词 v4.2.0 自然段硬规则 + enumerated_body 可修复校验
3 “24小时尿蛋白定量”被当时间值回溯 合理计划被硬拦 检查专名豁免
4 兜底模板写出”0岁” 荒谬开头 age 0/None → “年龄未提供”
5 病史字段无归宿,致 121 例数值缺失 资料事实丢失 四段结构 + payload 补齐
6 思考模式 token 黑洞 单例 130–195s 双通道关思考,降到 20–40s
7 项目名粘连 C30.4g/L 复述被判虚构 _fusion_variants 剥离已知项目名前缀数字
8 中文数字”两周”→”2周” 规范化写法被判虚构 _cn_numeral_to_arabic 提取前归一
9 OCR 错字 ALTl80U/L 模型读对反而”对不上原文” 紧贴单位的 l/I/O 产出还原变体
10 全角符号 BP 165/100mmHg 提取失败 NFKC 半角化

两个反直觉的教训值得单独说:

其一,校验器的 bug 会以”模型质量差”的面目出现。 那 35 例”数值虚构”如果不逐例复盘,就会永远躺在”模型不行”的账上;实际 16 例是我们自己的提取盲区。每个修复都在 tests/test_real_units.py 里锁了一条回归用例(注释直接写着实例编号,如 REAL-0012、C30.4g/L → (0.4, "g/l"))。

其二,硬规则本身可能是错的。 “正文不少于 800 字”最初是硬约束,结果 555 例资料本来就薄(sources < 500 字)的病例因此多花一次重试调用,而且逼凑字会诱导编造——恰恰违背”宁缺毋假”。改成资料过薄时只记 warning 不触发重试(text_short_thin_source 规则),成本和幻觉一起降。

8. 最终效果长什么样

tools/review_report.py 把 input + output 渲染成自包含的 HTML 对照页:左边是赛方资料片段(带 S01–S04 徽标),右边是系统生成的三段正文、依据说明、待核事项,数值高亮、evidence 可点击跳转来源。下面是真实病例 REAL-0635(慢性咳喘 20 年伴心衰体征)的成品截图:

REAL-0635 生成样例:左侧赛方输入四段资料,右侧系统生成的三段正文 + 4 条依据 + 3 条待核事项

看几个细节就知道质量如何:

  • 拟诊讨论同时给出了恶性心源性与结核性两条鉴别路线,支持点/不支持点各归其位,结尾落在”待查”而非确诊;
  • 资料 S02/S04 大面积”未提供”,正文如实保留并转化为 3 条具体的待核事项,而不是编一份既往史出来;
  • 每条依据都能点开对应 source_id,fact 与 inference 分色标注。

提示词演进也值得一提——v2 只有基础角色 + 三段结构;v3 加入”具体程度阶梯”(每句写之前先判断这句话属于资料直接支持、可归纳、需标注推断、还是该进待核清单);v4.1 根据 1337 例词频分析加了项目名限定词规则(糖化血红蛋白≠血红蛋白);v4.2 用自然段硬规则消灭编号列点腔。每一版的变更都由数据或反馈驱动,没有一拍脑袋的改动。

9. 局限

诚实列出还没解决的事:

  1. 参考区间 27 项全部 verified=false(待医学顾问核对),目前仅用于内部推理提示,禁入正文
  2. 单例耗时预算只是事后告警,不强制中止(等主办方公布正式时限后收紧)
  3. 金标准覆盖率是字符二元组启发式指标,不等同医学评审;正式评分以赛方双评委为准
  4. 开发期用内网 qwen3.5-9b 做替身联调,qwen3.8-27b 的表现以赛前抽样联调为准(已通过 10 例真实病例)
  5. 数据集中 21 例原文自带诊断性描述(如影像报告结论),此类病例的覆盖指标偏高,报告中单独标注

10. 时间线与复现

  • 11-06 项目起步,定基线与校验框架
  • 11-08 仓库初始化,整合基线 + v3 校验入 main
  • 11-09 迭代计划评审:入口/输出/配额/固定参数四项拍板;关闭思考模式决策
  • 11-10 staged 流水线全量落地(62 项测试)合入 main
  • 11-11 导师数据集接入,真实数据压出 3 类硬伤并修复
  • 11-12 自然段文风强制;数据转换重做;病例级并发 + 错峰
  • 11-13 端点上下文容量事故复盘(每槽 4k → 80k/4 并行根治);通宵全量压测
  • 11-14 02:58 全量压测收官(1293/1337)
  • 11-15 44 例失败复盘与提取盲区修复;规则符合性自动检查收尾

复现只需三步:

1
2
3
pip install -r requires.txt        # requests + python-dotenv,共两个依赖
cp .env.example .env # 填 MODEL_NAME 与 ENDPOINT 两项
python main.py # → output.json + run_log.json(+ tools/review_report.py 出对照页)

测试为纯标准库 unittest,收官时 90 项全部通过。

这个项目教会我最多的一件事:给 LLM 的任务,难点往往不在”让它写出来”,而在建立一套能证明它没瞎写的机制——可溯源的 evidence、单一来源的红线定义、带反馈的重试闭环,以及愿意逐例复盘失败的耐心。

Donate
  • Copyright: Copyright is owned by the author. For commercial reprints, please contact the author for authorization. For non-commercial reprints, please indicate the source.
  • Copyrights © 2023-2026 BernieDif
  • Visitors: | Views:

请我喝杯茶吧~

支付宝
微信