x-crawl：一个灵活的 Node.js AI 开源辅助爬虫库

12次阅读

没有评论

x-crawl 是一个灵活的 Node.js 多功能爬虫库。灵活的使用方式和众多的功能可以帮助您快速、安全、稳定地爬取页面、接口以及文件。

它由爬虫 API 和各种功能组成，即使不依赖 AI，也可以正常工作。

目前基于 OpenAI 提供的大型 AI 模型，AI 简化了许多繁琐的操作。

🔥 异步同步 - 只需更改一下 mode 属性即可切换异步或同步爬取模式。
⚙️ 多种用途 - 支持爬动态页面、静态页面、接口数据、文件以及轮询操作。
⚒️ 控制页面 - 爬取动态页面支持自动化操作、键盘输入、事件操作等。
🖋️ 写法灵活 - 同种爬取 API 适配多种配置，每种配置方式都非常独特。
⏱️ 间隔爬取 - 无间隔、固定间隔以及随机间隔，产生或避免高并发爬取。
🔄 失败重试 - 避免因短暂的问题而造成爬取失败，自定义重试次数。
➡️ 轮换代理 - 配合失败重试，自定义错误次数以及 HTTP 状态码自动轮换代理。
👀 设备指纹 - 零配置或自定义配置，避免指纹识别从不同位置识别并跟踪我们。
🚀 优先队列 - 根据单个爬取目标的优先级可以优先于其他目标提前爬取。
🧾 爬取记录 - 对爬取进行记录，并在终端使用彩色字符串提醒。
🦾 TypeScript - 拥有类型，通过泛型实现完整的类型。

https://github.com/coder-hxl/x-crawl

资源下载

此资源仅限注册用户下载，请先登录

下载前请仔细阅读以下说明，如下载代表您了解并同意了以下说明：
（1）资源收集自互联网，仅供自我学习，请在下载后 24 小时内删除该资源；
（2）如下载者将此资源用于其他非法用途，本站不承担任何法律责任；
（3）如有侵权，请立即联系我，马上删除！
（4）下载单个资源则点击立即下载按钮；本站 VIP 可免费无延迟下载本站所有资源。
（5）请不要使用手机以及电脑浏览器的无痕模式进行支付操作，以免造成支付成功但未显示下载链接。

正文完