— ABOUT JOBSUBBOT / 爬虫说明
我们只采公开职位,不碰个人信息。
生效日期 · 2026 年 5 月 26 日
本页面对应易职 JobSub 项目的官方爬虫 User-AgentJobSubBot/1.0的所有抓取行为承诺。如果你是被采集网站的运维或合规方,希望了解 JobSubBot 的频率、范围、停止申请方式,本页有完整说明。
我们遵循《中华人民共和国个人信息保护法》(PIPL)的“合法、正当、必要 + 同意”原则, 以及 robots.txt 君子协议。
01
抓取范围(采什么)
- 仅采集网站公开的职位列表 / 职位详情 / 招聘公告。
- 考试域(国考/省考/事业单位等)仅采集 .gov 与 .gov.cn 官方站点公开发布的招考公告与职位表附件,并保留公告链接、附件名、工作表、行号的完整溯源链;职位表中如含考务咨询电话等字段,入库前统一脱敏。
- 仅采集公开可枚举的页面(不需要登录就能看到的内容)。
- 对登录前置 / 需要简历投递 / 需要绑定手机的内容,一律不采。
02
不采的红线(绝对不碰)
- 简历内容、候选人申请记录、面试反馈——一律不采、不存、不碰。
- HR / 招聘人姓名、手机号、个人邮箱——不入库;如在公开页面误抓到也会脱敏。
- 企业的财务数据、经营机密、内部组织架构——不采。
- 登录后才能看到的内容——不属于“公开职位”,不采。
03
抓取频率(采多快)
- 单 host 默认 QPS ≤ 1(每秒 1 个采集请求)。
- 极少数需要执行 JavaScript 才能显示内容的页面,我们用浏览器渲染方式访问。 此时浏览器会像正常访问一样自动加载该页面的图片、样式等子资源; 上面的频率上限按页面数计,不含这些子资源。 我们已默认屏蔽图片、字体、样式表等非必要资源以减少请求。
- 采集节奏按数据时效差异化:互联网企业每小时一次,央企/银行每日一次,校招高峰期可加倍但不超过原节奏 5–7 倍。
- 遇到 429 / Retry-After 头,自动退避并降低后续频率。
- 统一采集客户端会读取并尊重网站的
robots.txt;遗留采集路径会纳入审计清单和人工复核。
04
可追溯 User-Agent
默认所有请求都带可追溯的 UA,不伪装成浏览器:
JobSubBot/1.0 (+https://jobsub.octoooo.com/about/crawler)
例外:目前有 4 个政府站点对声明式 UA 直接返回 403/502 或断开连接, 而同样内容用浏览器访问可正常打开。为采集这些公开招考公告,我们对这 4 个站点 override 为浏览器 UA。站点清单与逐站依据公示在 采集影响评估;这些站点均无 robots.txt,采集频率与其余站点一致,红线承诺不变。
05
停止采集申请
如果你希望易职停止采集你管理的网站,发邮件到abuse@octoooo.com,注明:
- 需要停止采集的域名 / URL 范围
- 你与该站点的关系(运维 / 合规 / 法务)
- 希望停止采集 / 调低频率 / 改入白名单的具体诉求
我们承诺7 个工作日内回复,确认后立即在调度器侧屏蔽。
06
法律与合规
- 遵守《个人信息保护法》(PIPL)的“合法、正当、必要 + 同意”原则。
- 遵守《反不正当竞争法》关于公开信息采集的边界。
- 遵守 robots.txt 君子协议;统一采集客户端命中 disallow 时会阻断请求,遗留源通过审计与停采流程管控。
- 每月跑一次内部 PII 扫描,高风险字段触发人工复审。
本页面对应 JobSub 项目 plan §10(合规边界)。版本变更会同步更新页面与 UA 链接。