开发者用ChatGPT API抓590万官网职位,过滤假岗和中介
LinkedIn 和 Indeed 上的职位信息已经不太能直接信了。幽灵职位、第三方离岸中介混在里面,求职者很难分辨哪些岗位真的在招人。
有个开发者换了个思路。大多数公司本来就会在官网贴职位,只是每个职业页面格式都不一样,过去没法规模化地抓。他用 ChatGPT API 把一堆域名丢进去,让它把职位整理成结构化数据。薪资、工作年限也能一起提取出来。
按这个方法,他抓了 590 万个职位,其中远程岗位超过 22 万个。工具公开挂在 Hiring.Cafe 上。
它的核心是筛选。可以同时选多个职位名称和职能,不想要的类别也能排除。行业、部门可以过滤。个人贡献者还是管理岗,分开选。期望的工作年限也可以设定。有用户说,用它搜工作的体验很新鲜,特别喜欢职位按公司归组的呈现方式。
不过有些边界问题还没有答案:职位数据会不会更新,信息准确性怎么保证,大规模抓官网有没有法律风险。这些问题他都没有展开。工具只做搜索和筛选,不替求职者投简历,也不保证找到工作。眼下能确定的是:职位列表直接来自公司官网,绕开了招聘平台。