抓取频率：每日 07:00、19:00 各跑一轮，班次写在仓库的 deploy/crontab.txt 里，可以直接去核对。

单轮上限：定时任务每跑一轮，每个源最多入库 40 条（crawl --limit 的默认值），只取增量、不重复回抓。按 16 个源、每天 2 轮算，定时抓取的日增上限是 1280 条。

实际入库：近 30 天共 1759 条，分布在有入库的 23 天里（日均按这 23 天算 = 76.5 条；拿 30 天当分母会把还没建站的日子也算进去，那个「日均」不诚实）。 其中最多的一天是 2026-10-20 的 477 条。 逐日曲线见 数据总览，这一段的数字都取自同一批入库时间，对得上。

源清单：下表直接读自爬虫的源注册表（news/crawler/sources.py），加源、改源这页自动跟上，不靠手抄。

• 守 robots.txt：每个域名先取 robots.txt 再决定能不能抓，不允许的地址一条都不请求。robots.txt 取不到时（5xx 或网络失败）按全站禁抓处理——对方站正脆弱的时候，我们宁可这一轮空跑。
• 老实标明身份：请求头用固定 UA CarNewsBot/0.1 (educational; +https://github.com/YixiaooWang/car-news-site)，不伪装成普通浏览器逃避识别。
• 限速：同一域名两次请求之间强制间隔；源站在 robots.txt 里声明了 Crawl-delay 就服从更慢的那个——守 robots 不只是守 Disallow。
• 只抓公开页：只走各源公开的新闻列表页与文章详情页，不登录、不绕付费墙、不碰任何需要授权才能看的内容；单个响应超过体积上限直接丢弃。
• 注明出处并可点回：入库即写下来源站点名与原文链接，链接在文章页是可点的「阅读原文」按钮。当前 7146 条带可回溯原文链接。
• 失败不硬闯：robots 不允许或请求失败，跳过这一条继续下一条，不重试压站。

入库前（抓取环节内完成）：

1. 去重：在列表页拿到链接和标题时就先查重——原文链接全库唯一，标题相似度达到 82% 视为同一篇转载。重复的连详情页都不去请求，既不重复入库也不白占源站带宽。
2. 正文抽取：从详情页 HTML 里定位正文容器，剔掉版权声明、责任编辑、引导关注这类噪声段。抽不出正文时，退回该条在 RSS／列表页上自带的摘要（源站自己给的原话，不是我们编的）；两者都凑不满 80 个字（列表页误入、付费墙、页面结构变了）才丢弃，不入半成品。
3. 相关性过滤：泛科技源用 60 个汽车关键词把关，标题与正文都不沾汽车的稿子不放进信息流。

入库后（每日定时流水线里抓取之后的步骤，顺序即下表，读自 daily_cron 的步骤表）：

1. 正文抽取纠错：复查正文抽得对不对：疑似抽错（过短、抽成导航或别篇正文）的重抓一遍，脏正文会顺着摘要、标签、聚类一路扩散。
2. 回填爬取标记+摘要：给新入库的爬取稿补上「爬取稿」标记与结构化摘要，确保详情页只出摘要不出全文。
3. 预热一句话摘要：离线生成详情页顶部的一句话摘要（请求里不调用大模型，页面才不会卡在等 AI）。
4. 实体标签：从标题和正文里认出品牌、车型，挂成可点的标签，车型时间线靠它串起来。
5. 官图同步+回填：把车企官方媒体库里拿到编辑授权的图入库，按品牌／车型配到没有配图的报道上；源站自带的配图一律不转存、不展示，配不上授权图的报道就照实留白。
6. 栏目分类：判定栏目（车辆／行业／政策），源站栏目提示缺失或对不上时以此为准。
7. 表述倾向判定：判每篇报道对涉及品牌用的是正向、中性还是负向表述，并从正文里摘一句原话作依据；依据对不上原文的一律记「无法判断」，不硬给结论。车型页的表述风向曲线用它画。
8. 质量打分：打信息质量分：标题夸张表述、营销维度扣分、情绪词偏多各自扣分，扣分理由逐条留档可展开。
9. ARG 三视角理由：再请大模型从常识、文风、事实三个角度各判一次，把判定理由逐条记下来；详情页「为什么是这个分」先看这三条理由，再看规则命中的词。
10. 事件聚类：把同一件事的多家报道并成一张事件卡，看得见谁先发、谁跟发、说法差在哪。
11. 事件摘要：给多家报道并成的事件卡写一段综述，把各家说法的分歧点摆在一起。
12. 避坑面抽取：从稿子里抽出买车会踩的坑（配置缩水、交付跳票、上市后官降），挂到对应车型的避坑面上。
13. 召回公告增量：取国家市场监督管理总局缺陷产品召回技术中心公开发布的汽车召回公告，只留公告标题、日期、涉及数量、缺陷描述与原文链接，公告里的联系方式一概不存；对得上库内车型的挂到该车型名下，对不上的照原样留档，不据此新建车型。
14. 承诺抽取：把厂商公开做出的承诺（续航、交付时间、OTA 排期）抽成一条条带期限的记录。
15. 承诺到期核查：到期的承诺逐条回查兑现了没有，结果写回承诺记录，兑现与打脸都留档。
16. 生成早报：挑出当日重点稿，汇成每日早报。
17. 早报播客：把早报合成语音版播客。
18. 哨兵巡检：巡检异常信号（某品牌声量突变、同期多源集中报道），异常写进值守记录。
19. 预警邮件推送：把已经产生的站内预警按人汇总成一封邮件推送给订阅者；开关默认关闭、只推用户自己勾选的动态类型，同一条不重复推。
20. 收尸卡死调查：回收异常中断后卡在 planned/running/reviewing 的调查。
21. 源文改删回访：按 3/7/30 天梯度回访已收录的原文链接，只存正文校验哈希，不留源站历史全文；链接失效、或连续两次抽到同一个跟本站记录对不上的指纹，才留一条可复核记录。
22. 媒体档案建档：给每家媒体结算档案：收录量、质量分均值、标签分布、首末收录日，全是从库里数出来的。
23. 媒体星图预计算：按各家媒体近期报道的用词算两两文本相似度，把它们铺成一张图：写法相近的自然靠在一起。只呈现相似度数值和对应原文，不由此推断原因。
24. 线索分诊：把用户报上来的线索认出车型、立案；该车型有了完成的体检报告就归档挂上。认不出车型的留在队列里等补充，不自动驳回。
25. 媒体公信力月报：每月把上个月各家媒体、各个品牌的表述倾向结算成一期月报，每条结论都附回链原文和依据原句。月报出一次就定稿，之后即使全库重新判定也不改写已经发布的那一期；样本不够的月份照实写「本月不出榜」。
26. 申诉队列检查：每天清点申诉复检队列：还有几条没处理、最久的等了多久，超过 7 天没处理就报警。收到申诉不会让内容自动下线，一律人工逐条复核后再决定维持还是更正。
27. 分层回归评测：拿固定车型题库跑一遍报告生成，记下当天的通过率——退化了逐日曲线上当天就看得见。
28. 上一期封存：把上一期收录的每篇稿按「id/入库日/来源/标题/质量分/质量标签」算 SHA-256，两两配对成一个 Merkle 根，清单存进仓库公开。之后任何一篇的分被改过，重算的根都会对不上——首页头版那颗「本期已封存」指的就是它。

处理覆盖情况：已生成结构化摘要 2451 条 · 已挂品牌/车型标签 5070 条 · 已打质量分 7114 条 · 已聚成事件卡 814 张。

栏目分布：车辆 3878 条 · 行业 3288 条 · 政策 4 条。

摘要、标签、质量分、事件归并全部由程序生成，评分口径与局限见 算法说明与隐私。

• 不转载全文：7146 条爬取稿的详情页只展示 AI 提炼的要点摘要和「阅读原文」入口，要读全文请回原站。
• 不改动原文：不改标题、不改说法、不做立场加工。本站新增的只有摘要、标签、质量分这些外挂信息，且 AI 生成的内容一律带 AI 生成 标识。
• 不隐藏出处：每条都写明来源站点，取自源站的封面图另行署名、版权归原作者所有。
• 不抓非公开内容：不登录、不破解、不抓需要付费或授权才能看的页面。
• 不牟利转载：本站为学生作品，收录仅用于新闻聚合与信息质量研究，不售卖内容、不基于转载投放广告。

若您是内容权利人，希望本站停止收录某个来源或撤下某条内容，请到 论坛 留言告知，我们会尽快处理。