---
title: 摘要模型怎么比较：固定输入、核对证据，再算成本
description: 用相同转录、字段评分和失败记录比较本地与云端摘要模型，区分质量评测和 ChatCrystal 的实际处理链路。
image: "https://zengliangyi.com/og/blog/llm-summary-evaluation.png"
---

不同模型是否适合你的笔记库，要靠相同输入和可追溯的结果判断。本文提供评测方法，没有实测模型排名、延迟或价格表；本地运行也需要硬件、电力和维护成本。

## 先确定比较哪条链路

ChatCrystal 的 [摘要实现](https://github.com/ZengLiangYi/ChatCrystal/blob/764276814e5c5a33ecbfeae63754f74b9261a3a8/server/src/services/summarize.ts) 先准备转录、运行经验门控，接受后才调用摘要模型；已有笔记会直接返回原 ID，不会因切换 LLM 自动覆盖。摘要落盘后还会生成向量并发现关系，这两步失败不等于摘要生成失败。因此“点击到全部完成”的时间与“模型生成摘要”的时间要分开记录。

若比较摘要模型本身，先冻结一份可见转录和相同的 SYSTEM_PROMPT、SummarizeSchema，在独立评测程序里对各模型提交相同内容；不要把重新点击已有会话当成重新生成。若比较应用全流程，则为每个配置建立独立测试数据目录，导入同一组来源副本，记录门控接受、过滤、摘要错误、向量状态和最终笔记。`DATA_DIR` 不会自动隔离来源或让客户端连接正确的实例，配置方法见 [内存测量与隔离](/blog/conversation-import-memory-budget)。

## 冻结样本与实际输入

选取已获准用于评测的中文、英文、调试、方案取舍、长会话和无可复用结论样本。为每份样本记录 ID、原始文件 hash、应用提交、模型完整标识、提示词版本和实际输入 hash；移除凭据并保留脱敏规则。只把需要的材料发送到获准的服务端。

[转录处理](https://github.com/ZengLiangYi/ChatCrystal/blob/764276814e5c5a33ecbfeae63754f74b9261a3a8/server/src/services/transcript.ts) 默认字符预算来自配置，不能当作精确 token 数。它选择每轮的部分助手消息；长会话保留首轮与末两轮，并按预算压缩中间部分，固定轮次仍可能让最终文本超出预算。评测中应保存实际生成的转录，而不是声称所有模型看到了完整原文。



```bash
sha256sum   sample.jsonl   transcript.txt   system-prompt.txt
```



这些文件名是评测记录约定，不是应用自动导出的文件。先从隔离评测程序保存对应内容，再运行 hash 命令。

## 用原文审查五个字段

| 字段 | 人工核对问题 |

| --- | --- |

| title | 能否指出具体问题，是否夸大结果？ |

| summary | 保留决策理由和适用条件了吗，有无新增事实？ |

| key_conclusions | 每条能否定位到可见转录，是否重复？ |

| code_snippets | 代码、版本和解释是否来自原文，是否可独立理解？ |

| tags | 能否用于检索，是否符合团队约定？ |

固定实现使用 `generateText` 与 `Output.object`，输出上限 4096 tokens、SDK 重试配置 3。Schema 限定字段类型；“20字”“3–5条”等写在 describe 与提示词里，并没有对应的长度或数量硬校验。成功解析 JSON 不能证明摘要事实正确，服务调用也可能失败。

可先规定每个维度“符合 / 部分符合 / 不符合”，隐藏模型名称后由两名审阅者定位证据，分歧回到原文裁定。没有可复用经验的样本单独评估门控，不给未调用摘要模型的结果打摘要质量分。评测目标、数据集与指标先确定再运行，可参考 [OpenAI 评测方法](https://developers.openai.com/api/docs/guides/evaluation-best-practices)。

## 将质量、失败与资源分别记账

每轮保存模型输出、字段评价、调用开始/结束时间、重试与错误，以及账单或可用的 token 用量；不从字符数推算确定费用。对本地模型同时记录硬件、量化与冷/热启动，对云端记录区域与网络条件。多次重复运行后报告分布和失败样本，不用一次成功代表稳定性。

队列限制的是队列任务启动，而非每秒只发一次模型请求；一项任务包含门控、摘要和其他调用，单次调用也会重试。它不保证免费额度或避免所有限流。先用 [LLM 配置](/blog/cloud-llm-configuration) 验证连接，再用这套记录选择满足质量与资源要求的配置；不要从 provider 名称推导谁一定更好。

分享：

##  相关文章

[##  Embedding 横评方法：固定笔记与查询，比较实际命中

用人工标注的查询和独立索引比较本地与云端 Embedding，核对重建状态、命中质量和资源成本。          曾亮懿       2026年10月4日      阅读约 3 分钟

#ChatCrystal

#Embedding

#评测](/blog/embedding-retrieval-evaluation)    [##  配置云端 LLM：核对提供方、地址与真实摘要

按 ChatCrystal 提供方注册表设置远端生成，区分原生接口与兼容网关，检查持久化配置、凭证和短测试的边界。          曾亮懿       2026年10月3日      阅读约 4 分钟

#ChatCrystal

#LLM

#配置](/blog/cloud-llm-configuration)    [##  AI 对话格式差异：事件、快照与跨库消息定位

对照五个固定适配器，区分 JSONL 容器、事件语义与 SQLite 键布局，用两个内存数据库观察消息索引、孤立数据和未知版本。          曾亮懿       2026年10月7日      阅读约 4 分钟

#ChatCrystal

#Node.js

#SQLite](/blog/ai-conversation-format-divergence)

##  从文章到代码

到我的 GitHub 看看 ChatCrystal、开发者工具和日常学习记录，欢迎交流实现细节。

[访问我的 GitHub](https://github.com/ZengLiangYi)

```json
{
  "@context": "https://schema.org",
  "@type": "WebSite",
  "name": "ZengLiangYi Blog",
  "alternateName": [
    "Zeng Liangyi",
    "ZengLiangYi",
    "zengliangyi.com"
  ],
  "url": "https://zengliangyi.com",
  "description": "曾亮懿的个人网站。记录 AI Native 探索、开发者工具与全栈产品实践。"
}
{
  "@context": "https://schema.org",
  "@type": "BlogPosting",
  "headline": "摘要模型怎么比较：固定输入、核对证据，再算成本",
  "description": "用相同转录、字段评分和失败记录比较本地与云端摘要模型，区分质量评测和 ChatCrystal 的实际处理链路。",
  "url": "https://zengliangyi.com/blog/llm-summary-evaluation/",
  "image": "https://zengliangyi.com/images/blog/llm-summary-evaluation.svg",
  "datePublished": "2026-10-04T00:00:00.000Z",
  "dateModified": "2026-10-04T00:00:00.000Z",
  "author": {
    "@type": "Person",
    "name": "曾亮懿",
    "url": "https://zengliangyi.com/about"
  },
  "publisher": {
    "@type": "Organization",
    "name": "ZengLiangYi Blog",
    "logo": {
      "@type": "ImageObject",
      "url": "https://zengliangyi.com/favicon-96x96.png"
    }
  },
  "mainEntityOfPage": {
    "@type": "WebPage",
    "@id": "https://zengliangyi.com/blog/llm-summary-evaluation/"
  }
}
{
  "@context": "https://schema.org",
  "@type": "BreadcrumbList",
  "itemListElement": [
    {
      "@type": "ListItem",
      "position": 1,
      "name": "首页",
      "item": "https://zengliangyi.com/"
    },
    {
      "@type": "ListItem",
      "position": 2,
      "name": "文章",
      "item": "https://zengliangyi.com/blog"
    },
    {
      "@type": "ListItem",
      "position": 3,
      "name": "摘要模型怎么比较：固定输入、核对证据，再算成本",
      "item": "https://zengliangyi.com/blog/llm-summary-evaluation/"
    }
  ]
}
```