# 面向小儿先心病纵向病程的历史证据获取与适时对话介入研究 本项目结合“基于真实世界多模态临床数据的小儿先天性心脏病全病程智能诊疗研究”，探索一种前后台协作的临床对话系统：前台及时交流，后台查看患儿的历史病程，并判断新的证据是否值得影响当前建议，以及什么时候、以什么方式介入。 ## 前期思考 在确定具体方向之前，我仔细阅读了之前发给我参考的《基于人工智能的肝脏增强影像生成与小肝癌智能诊断研究》。 我理解他的研究思路是： - 首先选择一个与课题组现有方向高度相关的已有工作作为 baseline，并完成复现； - 随后分析它在真实数据和具体任务中的 failure mode； - 针对其中一个足够明确的问题，从相关研究中寻找可以复用的方法或机制，对 baseline 做出有限的改进； - 最后利用课题组的私有数据进行验证，并进一步通过实际临床任务评价改进是否具有实际意义。 例如，该项目以 CEK-World 为核心复现工作，在分析中进一步关注其面对真实肝脏 MRI 时由于呼吸运动造成的序列空间不对齐问题，并借鉴 MrGAN 中的显式配准机制，与 CEK-World 原有的潜在空间对齐和动力学建模结合；进一步地，通过小肝癌检测、分割以及临床医生评价验证生成影像的诊断可用性，从而形成从方法问题到临床任务验证的完整闭环。 因此，我希望采用类似的思路整理自己的研究方向：不是从“构建一个完整的先心病诊疗 Agent”出发，而是先梳理相关研究，再结合先心病具体特点、真实诊断流程，寻找现有方法在这一场景下某个足够具体的 failure mode，然后考虑可以引入什么方法解决这一问题，以及课题组拥有的真实世界多模态数据能够如何用于方法开发和验证。 --- 以下按课题组具备较充分的病例、多模态数据等来讨论。 ## 研究范围 本研究关注先心病诊疗过程中多模态数据的利用，以及新获得的信息如何影响当前诊疗过程。主要研究三个问题：**哪些历史资料值得检索、获得新证据后何时需要介入当前交互，以及这种策略是否应根据风险和使用者进行调整。** 第一阶段拟选择一类具有连续病程记录的先心病术后随访或复诊病例开展实验，Fontan 术后可作为候选，也可根据课题组实际数据情况选择其他疾病亚群。 实验初期以回顾病例和模拟对话为主，选择少数能够明确评价的 clinical action 进行验证，并初步比较上述几个部分带来的效果。 ### 前沿工作调研与 baseline 搭建 这一阶段，我计划以 AMIE 为主要参考，同时参考课题组此前的的 Dynamic Diagnosis Multi-Agent，以及 Echo-CoPilot 的 tool-use 方式。先搭建一个能够进行动态对话、理解患者情况并调用工具的 baseline，然后观察：当患者存在很长的历史病程时，能不能找到真正会影响当前临床处理的信息，以及找到以后是否知道什么时候应该介入当前进行的对话（无论是和患者还是医生对话）。 ### AMIE：主要架构参考与基线重建 首先重点研究 Google 的 AMIE 系列。 2026 年发表的 [Multimodal AMIE](https://arxiv.org/html/2505.04653v1) 已经能够在问诊过程中持续更新对患者情况的理解，根据已知信息形成诊断假设，判断还缺什么，再主动询问患者或请求影像、病历等资料，并在系统认为信息足够时推进到诊断和处理建议。随后发表的 *[Towards conversational artificial intelligence for disease management](https://www.nature.com/articles/s41586-026-10764-5)* 又把这一过程从“一次问诊”扩展到了 multi-visit 的情景。它还设计了两套 agent，把实时交流和复杂推理拆开：前台 Dialogue Agent 负责及时和患者交流，后台 Management Reasoning Agent 可以花更多时间读取患者信息和医学指南，再把新的分析结果提供给前台。 这与我希望研究的 architecture 比较接近，因此计划据此搭建一个简化 baseline。不过 AMIE 没有开放源代码，所以这里只能是借鉴它的设计。在这个基础上，我希望进一步检验的问题是： > 如果一个患儿已经积累了几年甚至十几年的心超、CT/MRI、手术、ICU 和随访记录，后台究竟应该重新看哪一段历史？找到新信息以后，什么情况下值得改变甚至打断前台当前正在进行的对话？ 这正是我希望进一步推进的地方：从“后台可以进行更深入的推理”，进一步变成“后台能够判断什么 historical evidence 足以改变当前 clinical action ，以及这种改变是否重要到值得现在介入”。这也是我的 idea 所讨论的核心问题。 ### 庄组 Dynamic Diagnosis：动态信息获取和停止决策 课题组已有的 *[Empowering Medical Multi-Agents with Clinical Consultation Flow for Dynamic Diagnosis](https://arxiv.org/html/2503.16547v1)* 则作为第二个 baseline。 它已经研究了模型如何在信息不完整时继续问病史、做检查，并避免在证据不足时过早下诊断。我希望参考其中的动态信息获取能力和 stop/continue decision，也就是何时继续收集信息、何时结束问诊。这些能力与 AMIE 基本重叠，同时也可以与课题组已有工作衔接。 它与 AMIE 一起提供了一个很好的基础： > 当前信息不够 → 获取更多 evidence → 更新 state → 决定继续还是下诊断。 我的后续工作想让模型做到，它不仅能判断“还缺什么信息”，还要从同一个患儿多年积累的大量历史数据中判断“现在最值得重新看的究竟是哪一段”，也就是说不只是评价历史数据和当前会话之间的 relevance，而是看完以后当前 clinical action 是否真的会发生变化。 ### Echo-CoPilot：工具调用 考虑到我们课题组拥有大量私有多模态数据，[Echo-CoPilot](https://arxiv.org/html/2512.09944v3) 主要是作为把先心病多模态数据接入进来的参考。 它的思路是把已有的切面识别、测量和疾病预测等模型作为工具，由 Agent 决定调用什么，并综合这些工具的结果。 这比较适合本项目：如果课题组已经有成熟的小儿心脏超声模型，我不需要与影像方向的工作重复，而可以让后台 Agent 调用已有模型，把心超中的结构化发现、测量值或影像表征直接引入本系统的上下文中。 我借鉴 Echo-CoPilot 的重点是它的这套 pipeline： > Agent → 调用专科影像工具 → 获得 structured 数据 → 返回给 reasoning 模块 ### 计划得到的 baseline 完成上述调研后，我希望首先搭建一个尽可能简单的 baseline： $$ \text{实时 Dialogue Agent} + \text{后台 Clinical Reasoning Agent} + \text{患者 Longitudinal Record} + \text{必要的超声/影像工具（如果课题组已有的话）} $$ 它应该至少能够完成三件事情： 第一，前台正常进行临床对话； 第二，后台根据当前问题检索患者过去的病历、多模态数据，形成临床判断； 第三，后台得到重要信息后能够把结果提供给前台。 第一版实现可以先设置 turn-level checkpoint：每轮回复真正发送给用户之前，检查后台是否产生了需要纳入的信息。在这一机制跑通后，再进一步尝试 mid-generation intervention，即允许后台在前台生成过程中触发暂停、核验或重新生成。对于已经展示给用户的内容，允许系统后续纠正，而不是保证所有错误都能在输出前 interrupt。 实验同时记录后台触发次数、额外检索与 verification 的成本、介入次数以及对最终结果的影响，从而判断这种前后台分工带来的收益是否值得。 然后测试这个 baseline 的不足： > 它检索出来的是“语义上最相关”的资料，还是 **action-changing historical evidence**？ > 它会只找到某一次检查，还是能找到**解释当前问题的一段病程变化**？ > 后台一旦得到新结果，是不是不管重要与否都告诉前台，还是知道**什么时候值得介入**？ > 当前台准备输出结论时，系统是否会提高 verification 强度，而不是对所有回答采用相同程度的策略？ > 面对患者和面对医生时，它是否仍然采用完全相同的介入门槛？ --- ## 具体的想法 我想做的不是一个“把所有病历和影像一次性塞给大模型”的医疗助手，而是一个能够一边正常和患者或医生交流，一边在后台持续分析患儿整个历史病程的系统。 系统可以简单理解成前台和后台两部分。 前台 AI 负责实时交流。它需要反应快，所以不会每说一句话都停下来重新翻阅患儿几年甚至十几年的心超、CT、MRI、手术记录、检验和 ICU 数据。 后台 AI 则一直在做比较重的工作：随着对话发展，它持续判断“前台现在的理解是不是缺了什么重要信息”，并在患儿自己的历史数据中寻找可能相关的资料。 但这里不是只看它们在语义上是否相关，真正想解决的是： > **患儿过去的哪一段资料，重要到足以改变模型现在的 clinical action ？** 比如一个 Fontan 术后的孩子，家长突然提到“最近上楼比以前容易喘”。后台 AI 可以去看他过去几年的心超、MRI、血氧、检验和手术记录。如果只是发现某张旧心超和“气喘”这个问题相关，但看不看它都不会改变现在应该怎么处理，那么没有必要打断前台。 反过来，如果后台发现这个孩子过去几次心超显示心功能持续下降，同时最近血氧也出现变化，而这些信息会让当前处理从“继续普通问诊”变成“应该优先排查术后血流动力学问题”，那么这段历史病程就值得现在被重新调出来。 因此，我们希望系统找的不是“最相关的记录”，而是**真正 action-changing historical evidence**。 而且我们认为，一次有意义的历史信息通常不应该只是一张图或者一份报告。对于先心病，更重要的往往是一段变化过程，例如： **术前心超 → 手术 → 术后心超 → ICU 指标 → 随访心超 → MRI → 最近一次复查。** 系统因此需要从患者 longitudinal patient history 中找到“当前真正值得重新看的 trajectory segment”，而不是机械地找最近一次检查或者语义最相似的一份记录。 找到以后，后台也不是简单地把结果扔给前台。它还要判断这件事情到底重要到什么程度： - 如果只是有点帮助，但不会对前台输出有太大影响，就不打扰； - 如果有用但不紧急，就则在后续 checkpoint 将其注入前台的 context； - 如果会改变接下来应该向患者问什么，就调整前台下一轮的问题； - 如果继续按照原来的方向回答可能造成严重错误，就直接 interrupt 前台，补充信息后重新回答。 所以真正研究的是一个连续的问题： > **什么历史信息值得现在重新看？看完以后会不会改变当前处理？如果会改变，重要到什么程度，是否值得 intervene 正在发生的对话？** --- 我们还希望加入对“对话风险”的考量。 除了“这条信息会不会改变临床决策”，后台还要考虑另一件事情： > **如果前台现在说错了，后果有多严重？** 例如前台准备说： “目前可以先在家观察。” 这句话如果说错，可能耽误就医。因此即使后台只是有一定怀疑，也应该比较积极地介入：先查历史资料、重新看关键影像，必要时触发额外的 independent verification，再决定这句话能不能说。 相反，如果前台只是准备提出一个低后果的探索性判断，就没有必要每次都花大量计算重新验证。 因此我们不希望简单地用 model uncertainty 判断风险。 即使前台模型自称对“可以停药”有 95% 的把握，也未必可靠；即便估计准确，剩下 5% 的错误也可能带来严重后果。 --- 面对患者和面对医生，系统也不应该完全一样。 面对患者时，患者通常没有能力独立检查 AI 的医学判断，因此系统自己需要承担更多验证责任。 例如 AI 想说： “这个情况暂时不用立即就医。” 如果这是一个能造成严重后果的判断，和患者聊天的模型应该比较容易触发后台 verify 甚至直接打断。 但面对心内科或心外科医生，同一个系统可以允许更多不一定准确的专业判断，例如： “我目前怀疑右室功能恶化，主要依据是 A、B、C，建议重点复核某次心超。” 如果医生熟悉相关领域、能够查看原始资料，就可以把这个 hypothesis 连同检索到的 evidence 交给他讨论，没有必要仅仅因为“不确定”就打断。 当然药物剂量、严重禁忌、紧急处置等 high-consequence output ，无论面对谁都仍然应该经过严格检查。 简单来说就是： > **用户越难自己发现 AI 的错误，系统越应该主动替他踩刹车；用户越有能力、也越有条件实际参与验证，系统越可以输出开放的、不完全确定的专业推理。** --- 所以系统最终需要综合考虑三件事情： **这条 historical evidence 会不会改变 clinical action ；当前回答如果错了会有多严重；接收者有没有 verification capacity。** 然后统一决定：要不要继续、要不要查更多历史资料、要不要再验证一次、要不要改变下一轮问题，还是现在就必须打断…… --- ### Novelty 1：从“找相关的资料”变成“找会改变当前临床行动的资料” **做什么：** 系统不再单纯判断某份心超、MRI 或病历和当前问题 relevance，而是判断：**如果现在看了这份资料，下一步 action 会不会发生变化。** 举例来说，一份 MRI 能让诊断把握从 60% 提高到 90%，但无论看不看，下一步都是三个月后复查，那么它现在未必值得调用。反过来，一份 CT 只让某个危险诊断从 10% 上升到 20%，但会让处理从普通随访变成立即进一步检查，那么它反而非常重要。 这里看重的是 evidence 能否让处理更合适，并不是非得让模型改口。也不能因为看完后说的话没变，就倒推出这份信息没有价值：有些信息恰好是在给即将下的判断找依据，或者排除潜在的误判风险。 **最可能撞车：ClinSeekAgent；Value of Information 类工作。** - [ClinSeekAgent](https://arxiv.org/html/2605.20176v1) 已经让 agent 自己决定应该去找哪些 EHR、影像和外部证据，并把它们用于临床决策。作者也报告了某些任务中“查了很多，却遗漏关键线索”的问题。 - [Value of Information](https://artint.info/3e/html/ArtInt3e.Ch12.S4.html) 本来就研究额外信息能带来多少决策收益，并不只是看 uncertainty 有没有下降。 **目前可能的区别，以及还需要验证的地方：** “寻找会改变行动的信息”本身还不能作为独立创新。我们想进一步把问题落在： **患者自己的哪段历史证据会影响当前 clinical action ，并因此值得在正在发生的对话中被重新调出来。** 这里同时涉及一段纵向病程的组织和证据被使用的时机，但只是把任务说得更具体，还不足以说明已经与已有方法拉开差距。需要比较普通检索或 [Value of Information](https://artint.info/3e/html/ArtInt3e.Ch12.S4.html) 是否已经能够解决，以及针对先心病病程的处理能否带来额外改善。 --- ### Novelty 2：后台自动判断“要不要介入，以及介入到什么程度” **做什么：** 后台拿到新的证据或推理结果后，不是自动通知前台，也不是检测到“不确定”或“有风险”就直接打断，而是比较： > **继续让前台正常运行，和现在采取某种 intervention 相比，哪一种最终效果更好？** 而且这里不是简单的“打断 / 不打断”，系统可以在多个强度之间选择： **不处理 → 悄悄补充上下文 → 改变下一轮问题 → 启动 additional verification → 立即打断并 regenerate** 系统需要同时决定现在介入有没有必要，以及采用哪种介入方式最合适。 **最可能撞车：SupervisorAgent；Calibration Is Not Control；Beyond Information Seeking。** - **[SupervisorAgent](https://arxiv.org/html/2510.26585v1)：** 已经根据问题严重程度，在 guidance、correction、verification 等不同方式中选择。 - **[Calibration Is Not Control](https://arxiv.org/abs/2606.21399)：** 不仅比较“介入”和“继续运行”哪个结果更好，也已经研究对多种候选动作分别估计后续收益，再选择合适的动作。 - **[Beyond Information Seeking](https://arxiv.org/html/2608.24521v1)：** 已经把疾病严重程度和诊断错误的后果纳入医疗对话中的提问选择，而不只是追求信息增益。 **目前可能的区别，以及还需要验证的地方：** 我们希望实现的目标仍然是： > **哪一种介入真正能把后续临床决策从可能错误的方向纠正回来，同时又不过度干扰当前对话** 这一思路与 Calibration Is Not Control 的方法框架有重叠，不能再把“比较多种介入的效果”本身当作避开已有工作的理由。目前更合适的定位，是借鉴这种方法，进一步研究它如何结合患儿的纵向历史、当前准备给出的临床建议，以及后台证据到达的时机，看这么做是否能让系统比其他方法做得更好。 --- ### Novelty 3：患者和医生的区别改变系统承担多少“验证责任” **做什么：** 同一个 clinical state、同一份历史资料，在患者和医生面前可以触发不同的运行策略。 面对患者，high-consequence output 更容易触发重新检索、验证、暂停输出和升级。 面对有更高的 verification capacity 的医生，可以允许更多不太确定的 hypothesis 和原始 evidence 直接进入讨论，减少不必要的打断；但 high-consequence output 仍保留强制验证。 **最可能撞车：patient-facing safety / clinician-facing AI / role-conditioned medical LLM 工作。** **目前可能的区别，以及还需要验证的地方：** 我们不是让模型“对患者说简单一点、对医生说专业一点”，也不是两个 safety prompt。 我们让 **recipient verification capacity** 参与同一个运行时 controller，并同时改变： - 什么时候调历史证据； - 什么时候允许 additional verification； - 什么时候允许 uncertain hypotheses； - 什么时候必须打断。 因此这里希望改变的是系统行为，而不仅是答案措辞。不过，即使行为不同，也还需要证明它优于简单的角色提示或固定规则；接收者是否能发现错误、是否确实进行了复核，也不能只凭“患者”或“医生”的标签来假定。 --- ## 可以讨论的四个潜在创新点 **第一：从“relevance-based retrieval”变成“action-changing evidence retrieval”。** 系统寻找的不是最相关的信息，而是最可能改变当前处理的信息。 **第二：从“单条记录”变成“当前决策需要的一段纵向多模态病程”。** 特别适合先心病术前—手术—围术期—术后—长期随访的数据结构。 **第三：从“后台有结果就返回”变成“判断这个结果是否重要到值得现在影响前台”。** 介入可以从完全不打扰一直到立即抢占当前回答。 **第四：介入门槛同时取决于潜在后果和 recipient verification capacity。** 面对患者时更积极地 verify 和 interrupt；面对医生时，可以允许更多开放的专业推理；不过 high-consequence output 仍有不可绕过的检查。 这四件事情组成同一个研究问题： > 在实时临床对话中，后台系统什么时候应该从患儿漫长的多模态历史中重新调出一段病程？这段病程是否足以改变当前 clinical action ？如果足以改变，现在值不值得介入前台？介入多强，则进一步取决于如果不介入会造成多严重的后果，以及接收者自己有没有能力发现 AI 的错误。 --- #### 实验安排与评价 ### 第一阶段：确认问题是否存在 首先选择约 30–50 例真实病例进行探索，确认两类错误是否实际存在： 1. **关键历史证据没有被找到；** 2. **证据已经找到，但没有在合适的时间影响当前建议。** 为了拆分 retrieval 和 intervention 的作用，可以先固定一段经医生确认的重要历史证据，只改变证据到达的时间和介入方式；随后再让后台自行检索，测试完整流程。 ### Baselines | 对照方法 | 主要回答的问题 | | -------------------------- | ------------------------------------------- | | 直接读取完整历史 | 动态检索和介入是否真的有必要？ | | 基础检索 + 前后台协作 | foreground–background architecture 本身能做到什么？ | | 每轮等待后台 verification | 始终核验能减少多少错误，代价多大？ | | 基于风险或 uncertainty 的简单触发 | 简单规则是否已经足够？ | | 现有 intervention-control 方法 | 通用介入策略是否已经能够解决问题？ | | 本项目方法及 ablation | 纵向证据组织和 intervention policy 是否带来额外收益？ | 所有方法尽量使用相同基础模型和总计算预算，并报告实际调用次数、计算量和等待时间。检索实验尽量固定介入策略，介入实验尽量固定证据，以区分性能提升究竟来自哪里。 ### 评价指标 主要评价医生认为不合适的建议是否减少，尤其关注 **high-consequence errors**。临床评价允许存在多种合理处理，而不把真实病历中的实际处置视为唯一标准；条件允许时采用盲评，并由两位医生独立评价部分病例。 同时记录过程指标：关键证据是否被找到、是否在相关建议发出前使用、intervention 是纠正还是引入了错误，以及已经发出后才被纠正的错误数量。系统成本则记录等待时间、额外调用和无效 verification。 最后还需要控制一种可能的“作弊”：系统不能通过大量拒答或无限推迟决策来降低错误率。因此需要同时报告任务完成情况。 最终希望验证的是：在相近计算资源和任务完成率下，系统能否减少重要临床错误，同时将额外等待和不必要的 intervention 控制在合理范围内。 #### 预期产出与需要进一步讨论的事项 预期产出包括一个可运行的研究原型、一套能够追踪证据来源和 intervention 过程的评价流程，以及对方法有效条件和 failure modes 的分析。 项目首先需要验证三个基本前提：**历史病程是否经常能够改变当前临床行动；后台 verification 是否能够稳定提供有价值的新证据；相比简单检索或复核策略，更复杂的 intervention policy 是否确实带来额外收益。** 如果其中某个前提不成立，就相应收缩或调整研究问题，而不是继续增加系统复杂度。 下一步希望确认：**适合起步的病例亚群、可以明确评价的临床行动、课题组已有且可以直接接入的影像模型，以及能够投入病例整理和评审的临床资源。** 在此基础上先确定一个可执行的实验切口，再逐步验证患者端与医生端的策略差异。 ## 主要参考 1. Liévin et al. [Towards conversational artificial intelligence for disease management](https://www.nature.com/articles/s41586-026-10764-5). Nature, 2026。前后台分工、多次就诊管理及代码开放范围。 2. Poole & Mackworth. [Artificial Intelligence: Foundations of Computational Agents, §12.4](https://artint.info/3e/html/ArtInt3e.Ch12.S4.html). 2023。信息价值与决策收益的定义。 3. Saab et al. [Advancing Conversational Diagnostic AI with Multimodal Reasoning](https://arxiv.org/html/2505.04653v1). 2025 年公开稿。状态更新、多模态对话及实现说明。 4. Zhang et al. [Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention](https://arxiv.org/abs/2606.21399). 2026。候选介入的收益比较和相同执行状态下的分支评价。 5. Wu et al. [ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning](https://arxiv.org/html/2605.20176v1). 2026。主动获取临床证据及决策任务中的失败分析。 6. Lin et al. [Stop Wasting Your Tokens: Towards Efficient Runtime Multi-Agent Systems](https://arxiv.org/html/2510.26585v1). 2025。SupervisorAgent 的运行时监督和分级介入。 7. Li et al. [Beyond Information Seeking: Severity-Aware Question Supervision for Proactive Medical Dialogue](https://arxiv.org/html/2608.24521v1). 2026。根据诊断后果选择问题。 8. Wang et al. [Empowering Medical Multi-Agents with Clinical Consultation Flow for Dynamic Diagnosis](https://arxiv.org/html/2503.16547v1). 2025。课题组动态诊断工作的衔接参考。 9. [Echo-CoPilot: A Multiple-Perspective Agentic Framework for Reliable Echocardiography Interpretation](https://arxiv.org/html/2512.09944v3). v3, 2026。超声工具与临床推理的连接方式。