评测驱动
为数据和 Agent 分别搭建可复跑的评测体系，用结果定位问题、决定取舍，把发现的缺口转成数据补充、模型调整与产品需求，改动后再用同一套评测验证。
工作方法
用同一套评测，决定改数据、模型还是产品
- 科学问题定义用户要什么
- 评测衡量交付结果
- 错因定位失败环节
- 改动数据、模型或产品
- 复测检验改动效果
科学数据
独立建设并交付 500 万条分子量子化学库，制定分子标识、3D 结构、量子化学性质与计算质控的字段及验收口径；主导物质库、反应库与对外数据样例评测，把发现的问题转成数据质量迭代需求。
科学评测
通过错题归因与消融定位 SuperChem 的化学推理瓶颈、医学 VQA 的出题难度问题，据此调整产品与出题方向；负责两个科学 Agent 题源项目的科学判断与交付口径，用实测校准难度，并迭代出题与交付流水线。
Agent 研发
主导可信逆合成 Agent 的产品定义、架构编排、前后端与评测；单步模型采用开源方案，实习生协助化学判断；正把逆合成作为首期能力接入 ChemMaster。
科学背景
计算化学博士、博士后共 7 年，长期与实验组合作，用 DFT、分子动力学与微观动力学预测并解释实验结果；发表期刊论文 30 篇，其中第一作者 11 篇，被引 1100+。
科研训练
计算化学科研训练，支撑科学判断与产品决策
- 上海工程技术大学材料物理与化学硕士
- 美国阿拉巴马大学化学工程博士
- 美国西北大学计算化学博士后
- 深势科技AI 产品经理，化学材料方向
| 研究体系 | 本人研究工作 | 形成的判断能力 |
|---|---|---|
| 催化反应（硕士） | 反应路径、过渡态与微观动力学 | 比较竞争通道与产物分布 |
| 离子液体（博士） | 离子极性与溶剂化亲和指数 | 用可解释指标组织材料筛选 |
| 可循环聚合物（博后） | 聚合热力学、聚合与解聚机理 | 把计算预测放回具体实验体系 |
代表项目
从评测结果到具体改动
深势科技的工作分四块：化学版、Agent 研发、科学评测、项目申报与交付，共用同一套流程。项目涵盖团队产品、本人主导研发与独立交付，每张卡写明归属。
数据质量
五百万分子量子化学库 独立完成
五百万量子化学库，把质控接入生产
为分子表征学习构建量子化学数据，独立完成从选源、计算到交付的流水线。把失败分型、监控和自动重试接入生产，计算状态随数据一并交付。
5,005,979条分子计算记录
97.88%全量 xTB 收敛率
100%全量 ORCA 单点收敛率
- UniMol-v2按骨架多样性选源
- 规范化与去重InChIKey
- GFN2-xTB几何优化
- ORCAr²SCAN-3c 单点
- 后处理与质控字段与计算状态
- Parquet交付
监控、报错、失败重试
- 标识与结构
- 10
- xTB 性质
- 6
- ORCA 性质
- 9
- 派生性质
- 4
- 质控与溯源
- 8
- 评测
- 全量收敛率按 xTB、ORCA 分别统计。
- 错因
- 失败任务按类型记录。
- 改动
- 监控、报错，并按失败类型自动重试。
- 复测
- 失败任务重试后复测；另有接口均匀抽检 200 条，一致性检查全部通过。
玻尔科学导航·化学版 评测设计与诊断，实施归团队
化学物质检索，先区分问题再改检索路径
相同的检索失败，可能来自收录、召回、排序或结果字段。设计四层评测，把问题整理成改造建议、复现包与验收线。
- 查询名称、中文名、SMILES、CAS
- 召回有没有候选
- 排序正确物质能否靠前
- 结果字段与页面是否够用
- 外部基准与常用服务相比，覆盖如何？1,690 种去重物质。
- 库内自反查已收录的物质能否找回？500 条。
- 机理诊断失败发生在哪个环节？
- 人工检查页面结果是否符合研究习惯？待测。
- 评测
- 外部基准、库内自反查、机理诊断与人工检查，分别回答四类问题。
- 错因
- 排序问题、召回问题、缺字段、收录缺口。
- 改动
- 改造建议与复现包。
- 复测
- 验收线已形成，实施归团队。
化学版的其他工作 本人评测与校验，解析改造归团队
把问答、结构校验与样例评测转成数据迭代材料
按用户画像生成 1,687 道化学问答模拟题，为问答评审提供题目与规则。专利分子校验累计 10 篇专利、3,006 个结构，按错误类型回传研发。六类模块自动评测与人工复核形成 8 份分口径报告。
路线与证据
可信逆合成 Agent 主导产品、编排、前后端与评测
可信逆合成 Agent：三层架构，把校验边界写清楚
在线使用
公开版免登录，作业仅本人可见，按网络限额。
单步模型采用开源方案，本人主导产品与系统，实习生协助化学判断。候选提议、多步搜索、把关与成稿分层组织。
第一层 单步候选提议
反应库检索反应记录
神经模型RootAligned + Graph2Edits
ORD开放反应记录
相似性检索ECFP4
候选合并去重，按共识与排名排序
反复调用
第二层 多步搜索
best-first AND-OR，反复调用第一层，叶子可购即终止。库存为 ZINC 在库砌块，另加常用试剂白名单。
第三层 把关与成稿
- 解析输入
- 提议候选
- 正向验证目前只在第一步
- 证据定级目前只在第一步
- 化学审查目前只在第一步
- 去重
- 成稿
逆合成评测 本人评测设计与离线对照
评测结果决定换模，也划清可信性的边界
L1–L3 已有不同范围的离线测试，L4 专家与实验层待补。
- L1 文献对齐检验文献路线匹配
- L2 同口径对照160 个上市药物与临床候选分子
- L3 化学正确性原料可购、候选结构有效、反应位点合理
- L4 专家与实验评测化学领域认可度，待补
离线对照：前三条交付路线的首步断法多样性
- 评测
- 190 个靶的离线对照，比较前三条交付路线的首步断法是否互不相同。
- 错因
- 旧默认组合的前三条路线，首步断法常常相同。
- 改动
- 默认组合换成 RootAligned + Graph2Edits。
- 复测
- 同一批靶离线对照，占比从 27.4% 升到 37.9%。
单个案例里，固定同一条 2 步路线加入玻尔库后，两步都补上了反应记录、条件与可引用出处；这只说明证据覆盖，不说明路线更优。
可信性目前的边界是深层步骤未做正向验证和证据定级，专家与实验层待补。
正把逆合成作为首期能力接入 ChemMaster；本地工作台已接通研究会话、物质与文献检索、来源展示、报告导出和分子画板输入。
科学任务
SuperChem 本人主导评测、归因与消融
SuperChem 的错误归因，改变了产品方向
在 500 道防检索化学多选题上，多个框架各与自身基线配对，均无统计显著提升。经错误归因与消融，在这组题型和已测接入方式里，把瓶颈定位在模型化学推理。
- 不同接入方式测试各与自身基线配对
- 错误归因定位失败环节
- 消融与复核化学推理瓶颈
- 产品方向向 LLM 提供训练语料
- 评测
- 多个框架各与自身基线配对，均无统计显著提升。
- 错因
- 在这组题型和已测方式里，瓶颈定位在模型化学推理。
- 改动
- 产品方向从销售化学数据库调整为向 LLM 提供训练语料。
- 复测
- 后续改动待新的评测验证；当前结论限本组题型与已测接入方式。
Trace 团队协作；本人负责需求对接、科学判断与验收口径
Trace 先验证题目有效，再校准难度
自动出题与筛选、修改同事交付题两条入口，共用四道关。多模型跑测与轨迹核查后打包交付，再让客户反馈回到出题与筛题策略。
自动出题
筛选、修改同事交付题
- 环境按说明启动
- 参考解同环境真算出
- 判分器检查计算结果
- 难度多次独立试跑
- 多模型跑测轨迹核查
- 题包打包与交付交付样例与轨迹数据
- 一家大模型厂商的医学 VQA
- 交付第一批轨迹数据 1663 道，推动合作达成。
- 一家国家实验室
- 20 道样例，促成询价。
- 科学基准项目
- Demo 交付验证中。
- 另一家大模型厂商的 RL 题源
- 已交付 10 道样例。
- 评测
- 题目有效性、难度多次独立试跑与轨迹核查。
- 错因
- 用实测定位题目难度问题。
- 改动
- 迭代出题、筛题与交付流水线。
- 复测
- 多模型跑测；结合客户反馈调整策略。
其他
产品原型 · 业务流程 本人完成原型，团队项目
重大项目产品原型
入职约两个月自学 Vibe Coding，完成 246 张（共 458 张）三级功能点原型，其中知识图谱 184 张、深度挖掘 62 张；项目中标金额超过 1 亿元。
知识图谱 184 功能点挖掘算法 62 功能点
chem-lit2kb-pipeline 本人项目 · OCSR 与校验
化学文献知识抽取-校验流水线
从文献 PDF 抽取分子、反应、表格、图谱等结构化知识：UniParser + MinerU 双解析、多路化学结构图像识别（OCSR）跨引擎投票、 G0–G4 五级闸门校验与坏例闭环修正；SMILES 判等统一走 RDKit InChIKey。
github.com/Xiaoyangliu-93 12 个项目仓
开源代码作品集
除上述项目外，另有工具类代码仓：OCSR 化学结构识别质量评估器、专利 LLM 分类清洗工具、学者成果多源聚合流水线、 分子金标数据集构建工具、PPT 生成 Agent 等，均为独立完成、按项目语义组织的纯代码仓。
长期方向
长期方向：正向反应验证器
这是希望长期投入的方向，尚未形成成果。
数学与代码可以用证明或执行检查部分对错；化学反应依赖真实条件，需要实验反馈。我想长期投入的是正向反应验证器：把文献先例、模型预测、机理与能垒分成不同强度的证据，校准置信度，没有把握时弃权，并让实验结果持续回流校准。
- 可靠数据与路线
- 正向反应验证器
- 计算与实验验证
- 性质预测与发现
起点是 7 年计算化学（DFT、微观动力学，长期与实验组对照），以及现职工作中积累的数据质量、逆合成与评测经验。
工作及科研经历
从计算化学科研到 AI4Science 产品
北京深势科技股份有限公司玻尔科学导航
2025.08 — 至今
北京
2025.08 — 至今
北京
AI 产品经理（化学材料方向）
向公司产品 + 数据负责人（公司合伙人）汇报
覆盖化学版数据产品、高通量计算、Agent 研发、科学评测与国家 / 区级项目交付。
1. 科学数据平台：玻尔科学导航·化学版（对标 SciFinder / Reaxys）
- 2025.08 – 至今，面向化学科研人员的检索与解析产品；负责数据质量、核心数据集与对外语料交付。
- 五百万分子库（独立完成）：2026.01–04，为分子表征学习构建量子化学数据。按骨架多样性选用 UniMol-v2，按 InChIKey 去重，用 Coding Agent 搭建 GFN2-xTB 优化与 ORCA r²SCAN-3c 单点的高通量流水线，自动监控并重试失败任务。5 月交付 5,005,979 条、37 个字段（标识、3D 结构、全局 / 原子 / 键级性质与质控），全量 xTB、ORCA 收敛率分别为 97.88% 和 100%。查看计算框架
- 化学问答评测语料：2026.02–03，按用户画像生成 1,687 道模拟题，自动采集 Biomni Agent 的回答作为金标测试集，为问答评审提供题目与规则。
- 数据库产品定义与数据规范：建立金标数据集，以评测推动物质库、反应库等数据库的产品定义、数据字典、Schema 设计与产品化页面规范。
- 专利分子校验：2025.12–2026.02，自建原图对照的校验网页和分子结构编辑器，累计校验 10 篇专利、3,006 个结构；按错误类型回传，开发同事据此修改解析代码。
- 对外数据样例评测：2026.05–06，独立完成对 PDF 解析、分子、物质、反应、图文与 VQA 六类模块的自动评测，辅以人工复核，形成 8 份分口径报告及评测报告汇总，供数据迭代。
- 物质检索：2026.07–09，设计四层评测，横向对比我方化学物质库与其他常用数据库的质量，提出改造建议，建立数据库质量迭代基线。查看四层评测示意
2. Agent 研发：可信逆合成 Agent 与 ChemMaster
- 2026.04 – 09，主导产品定义、架构编排、前后端与评测；参与算法与评测调研，由实习生提供化学判断；正把逆合成作为首期能力接入 ChemMaster。
- 搭建与运行：通过开源单步逆合成模型和多步搜索框架搭建逆合成 Agent，包括结构解析、路线提出、前向校验、证据分级、审查、去重、成文七个模块，集成 best-first AND-OR 多步搜索，并接入不同层级的商品作为判定起始物；上线内部 Agent 供测评，网页支持 SMILES、中文名、绘图和图片输入，可解析一句话路线要求中的规则，并生成完整的合成路线报告。查看流程示意
- 可信证据与评审：设计分步证据与前向校验的展示，区分反应级强证据与物质级弱证据，按可行性、成本、证据、安全、条件、可购原料六维评分；服务层支持指定首断键、必经中间体，并按绿色度、成本、证据排序。
- 评测体系：搭建 L1–L4 四级评测（文献对齐 / 同口径对照 / 化学正确性 / 专家与实验）与内部迭代测试床；对比四类技术路线（平台拼装、检索增强、通用智能体、本地自研），差别在有无前向验证、证据是否绑在断键上。Claude Science 三臂评测（裸模型 / 加公开工具 / 加玻尔库）考察不同 Agent 架构与数据库对逆合成结果的影响。
- 扩展 ChemMaster：2026.08–09，搭建本地化学 Agent 工作台，接通研究会话、物质与文献检索、来源展示、报告导出和分子画板输入；分领域提出、交叉核对、合成报告的三层协作已实现，并搭建 SN 1687 题的回归评测框架。
3. 科学评测：科学 Agent 任务题源与基准
- 2025.09 – 至今；Trace（科学 Agent 任务题源）自 2026.07 起成为当前重心。团队协作，本人负责对外需求对接、科学判断，以及两个科学 Agent 题源项目的接收与样题交付。
- 医学问答：2025.09–10，调用 API 自动评测 USMLE 325 题，对比玻尔科学导航与 ChatGPT、Gemini、Claude，按错题归类，为科学导航医学版的研发提供问答改进材料。
- SuperChem 评测：2026.05-06，在 500 道防检索化学多选题上系统评测多个评测框架（通用工具 / 数据库工具 / 智能体并行注入 / 原生 MCP 等），覆盖不同模型架构；各框架相对自身基线均无统计显著提升。经归因分析与消融测试，判断瓶颈在模型化学推理，据此把产品方向从销售化学数据库调整为向 LLM 提供训练语料。查看决策闭环
- 大模型厂商的科学训练语料交付：搭建两条自动化交付流水线，一条自主出题，一条对同事交付的题目做筛选、改题、校验与跑测。
- 一家大模型厂商的医学 VQA：2026.07–08，搭建筛题、核验与判分回放流水线：剔除去图后不可答的题目，对指定模型做多轮抽检，语义判分可回放，交付第一批轨迹数据 1663 道，推动合作达成。
- 国家实验室样例：2026.09–10，交付 20 道样例，促成对方询价。
- 科学基准项目交付：2026.09 起，负责题包筛选、校验、审查与验收口径，审题与出题并行，Demo 交付验证中。
- 另一家大模型厂商的 RL 题源：2026.10 起，负责题包筛选、校验、审查与验收口径，已交付 10 道样例。
4. 项目申报与 2B / 2G 交付（项目经理 + 科研骨干）
- 2030 国家重大专项「人工智能赋能有机化学」课题一：作为核心成员撰写中期报告、课题大纲与测试大纲，2026.06 完成一年期答辩；作为专利核心起草人，完成交底书、插图、代理对接及申请文件的审阅修改，申请已受理。课题总经费 1,500 万元，项目总经费 7,500 万元，与北京大学朱戎课题组、上海交通大学张林峰课题组、宁波东方理工大学朱宸课题组以及中科院化学所江剑课题组深度合作。
- 海淀区揭榜挂帅：2025.10–2026.10，作为核心成员参与申报，该项目以化学版为平台载体，以玻尔的学者库、化学物质库、反应库等数据库，以及深势科技的 UniParser、UniMiner 等工具平台为基础。负责测试与验收材料线，编写测试大纲并统一对接 CNAS 机构，第三方技术测试已通过；将 36 家试点申请单位的需求整理成产品迭代报告。项目总经费 4,000 万元；正式验收已于 2026.10 完成答辩。
- 北京大学 AI4S 语料库：2025.08–10 负责数学、物理、化学领域的申请资料撰写，助力项目中标，与中科院按 1:1.5 共享超 10 亿元经费。
- 国科信重大项目产品原型：2025.10 入职两个月自学 Vibe Coding 工作流，完成 246 张（共 458 张）三级功能点原型，其中知识图谱 184 张、深度挖掘 62 张，形成可供团队复用的半自动化原型工作流；项目中标金额超过 1 亿元。Demo：知识图谱 · 挖掘算法。
- 客户方案：围绕科研数据与知识检索，为一所高校编写化学语料库方案及质量测试报告，与另一所高校交流化学生物数据库，向一家跨国企业做全英文产品演示，参与央企研究院及知识产权领域机构的需求交流，支持专利分类项目，并按需提供 SaaS 与本地部署的 RAG、知识库及多模态处理方案。
美国西北大学2022.08 — 2025.07
Northwestern University
Northwestern University
博士后
导师：Linda J. Broadbelt（美国国家工程院院士）
RePLACE 项目以及 BOTTLE 项目
- 可循环聚合物设计：为评估单体的聚合与回收条件，建立聚合热力学与最高反应温度（ceiling temperature）计算流程，评估最高反应温度作为设计参数的预测能力；成果以第一作者发表于 Cell Reports Physical Science（2024）。
- 聚合物解聚：与西北大学 Tobin J. Marks 实验组合作，用 DFT 计算镧系金属催化剂作用下尼龙-6 等聚合物的解聚机理，比较反应路径，为理解催化解聚提供机理依据；合作成果以第二作者发表于 Chem（2024）以及 Green Chem.（2025）。
- 阴离子开环聚合：与科罗拉多州立大学 Eugene Y.-X. Chen 实验组合作，研究重新设计的内酯、内酰胺在碱催化下的开环聚合机理，支持可回收尼龙-6 变体设计；合作成果以第二作者发表于 Angew. Chem. Int. Ed.（2024）。
西北大学内部协作
- 硅氧烷交换反应研究：研究酰胺基内催化的共价自适应网络中的缔合型硅氧烷交换机理，与 John Torkelson 教授团队合作。
- 自由基中间体的 EPR 计算：通过 EPR 计算研究氟代碳酸乙烯酯（FEC）还原过程中自由基中间体的行为，帮助理解固态电解质界面（SEI）形成机理，与 Jeffrey Lopez 教授团队合作。
- 团队支持：为团队成员在与 Dow 等工业合作项目中提供模拟技术支持，促进跨学科合作。
美国阿拉巴马大学2018.08 — 2022.07
The University of Alabama
The University of Alabama
博士研究助理 · 化学工程
- 气体溶解与分离：为快速筛选离子液体，提出离子极性指数与溶剂化亲和指数（Solvation Affinity Index），用分子模拟分析多价离子液体中的气体溶解行为；与阿拉巴马大学 Jason E. Bara 组合作研究二氧化碳吸收溶剂，相关第一作者成果发表于 J. Phys. Chem. B、Chem. Eng. Sci.。
- 海水淡化：用 DFT 解析溶剂萃取中的基本相互作用，与阿拉巴马大学 Steven T. Weinman、哥伦比亚大学 Ngai Yin Yip 组合作开展胺类温度摆动溶剂萃取的计算与实验研究；第一作者成果发表于 J. Mol. Liq.（2022）。获博士生年度杰出研究奖（2023，每年 1 人）。
上海工程技术大学2015.09 — 2018.05
硕士研究助理 · 材料物理与化学
导师：安炜
- 生物质加氢脱氧：与俄克拉荷马大学 Daniel E. Resasco 组合作，用 DFT 研究间甲酚、愈创木酚在 NiFe 及 Fe 合金化 Ni／Pt 表面的反应路径，建立过渡态标度关系与 C–O 断键描述符，结合微观动力学预测产物分布；第一作者成果发表于 J. Catal.、Catal. Sci. Technol.（2018）。
技能
研究、工程与产品的交集
- 产品与交付：科研用户访谈与需求分级、PRD 与产品原型、数据字典与验收口径；2B / 2G 项目的方案、测试大纲与第三方测试对接。
- 科学评测：评测集与判分规则设计、同题配对与显著性检验、消融与错因归因、用多次独立试跑标定题目难度。
- 数据与 Agent 研发：高通量计算与化学数据流水线（结构规范化、InChIKey 去重、质控）、Agent 编排与评测；Python、TypeScript / React、FastAPI、RDKit、Docker、Parquet；用 Claude Code、Codex 等编码 Agent 开发，并由不同模型交叉审查。
- 计算化学：DFT（Gaussian、ORCA、VASP）、半经验方法（xTB、CREST）、分子动力学与蒙特卡洛模拟（GROMACS、LAMMPS、Cassandra）、微观动力学建模；申请并使用 XSEDE / ACCESS 高性能计算资源。
- 语言：中文、英文（美国读博与博后 7 年）。
教育经历
教育背景
美国阿拉巴马大学 · 化学工程 · 博士
The University of Alabama
2018.08 – 2022.07
上海工程技术大学 · 材料物理与化学 · 硕士
2015.09 – 2018.05
吉林师范大学 · 应用物理 · 本科
2011.09 – 2015.06
科研发表
计算化学 · 高分子循环与催化
期刊论文 30 篇，第一作者 11 篇、第二作者 14 篇，与实验组合作 12 篇。代表作见下；完整列表见 Google Scholar / ORCID。
30期刊论文
11第一作者
14第二作者
12实验合作
1100+被引
Cell Rep. Phys. Sci. 2024 Liu, X.; Kozarekar, S.; et al. Understanding ceiling temperature as a predictive design parameter for circular polymers.（最高反应温度与可循环聚合物设计）
Angew. Chem. Int. Ed. 2024 Tian, J.-J.; Liu, X.; Ye, L.; et al. Redesigned Nylon 6 Variants with Enhanced Recyclability, Ductility, and Transparency.（可回收尼龙-6）
Chem 2024 Ye, L.; Liu, X.; et al. Catalyst metal-ligand design for rapid, selective, and solventless depolymerization of Nylon-6 plastics.（尼龙-6 选择性解聚）
J. Phys. Chem. B 2021 Liu, X.; et al. Gas Solubility in Multivalent Ionic Liquids: Insights from Molecular Simulation.（多价离子液体气体溶解度）
完整论文列表：Google Scholar · ORCID。在 AIChE 年会及 FOMMS 作第一作者口头报告合计 8 次。
荣誉与奖项
荣誉 · 计算资源
获美国化学家学会学生奖（2022）、阿拉巴马大学研究生委员会奖学金（2021–2022，获奖率低于 1%）；作为申请人获 ACCESS / XSEDE 计算资源约 1,460 万 SUs（估值约 $64,700）；在 AIChE 年会及 FOMMS 作第一作者口头报告合计 8 次。
博士生年度杰出研究奖 阿拉巴马大学，2023（每年 1 人）
2023