1.可视化爬虫软件:EasySpider 17.4k⭐
EasySpider是一个可视化爬虫软件,它支持数据的定制和导出,适用于各种爬虫应用和数据采集需求。该项目在GitHub上非常受欢迎,过去一个月内增加了4,786个星星。其使用文档和示例可以在Issues中找到。项目教程包括如何爬需要登录的网站、自定义条件判断、如何爬取需要输入验证码的网站等。此外,它还提供了命令行执行任务和API调用等功能。
[官网] [使用文档] [视频介绍]
添加图片注释,不超过 140 字(可选)
2.项目流行趋势
- 项目地址:https://github.com/NaiboWang/EasySpider
- Github趋势榜:
- 入选2023-06-05周榜,周增⭐1,973 stars this week
- 入选2023-07-07月榜,月增⭐4,786 stars this month
- 开源时间:2020-07-18
- 最后更新:2023-10-30
- 主要语言:JavaScript
- 项目分类:[工具]
- 项目标签:[开发工具] [可视化爬虫]
- Star历史曲线:
添加图片注释,不超过 140 字(可选)
3.项目教程导航
1.Issues中的文档和示例(作为下面教程的补充)
https://github.com/NaiboWang/EasySpider/issues?q=label:documentation
2.EasySpider介绍:中国地震台网采集案例
https://www.bilibili.com/video/BV1th411A7ey/
3.设置页面向下滚动
https://www.bilibili.com/video/BV1G14y1o7Qa/
4.如何爬取需要登录才能爬的网站
https://www.bilibili.com/video/BV1BN411t71C/
5.实战采集汽车网文章内容并下载文章内图片
https://www.bilibili.com/video/BV14u4y1x7S5/
6.Ebay样例博客
https://blog.csdn.net/ihero/article/details/130805504
7.多种选中子元素模式区别展示 将最后一次提取到的数据作为变量进行输入 定时执行任务展示
https://www.bilibili.com/video/BV1N94y1a7Lp/
8.【重要】自定义条件判断之使用循环项内的JS命令返回值
https://www.bilibili.com/video/BV18C4y1V7J7/
9.如何执行自己写的JS代码和系统代码 (自定义操作)
https://www.bilibili.com/video/BV1UH4y1f7BM/
10.如何自定义循环和判断条件
https://www.bilibili.com/video/BV18w411a77e/
11.如何对元素和网页截图及命令行执行指南
https://www.bilibili.com/video/BV1ch4y1E7cn/
12.OCR识别元素内容功能
https://www.bilibili.com/video/BV1GP411y7u4/
13.如何爬需要输入验证码的网站
https://www.bilibili.com/video/BV1Rw411C7Hs/
14.如何切换IP池和使用隧道IP – 打开详情页采集案
https://www.bilibili.com/video/BV1zw411w7BN/
15.流程图执行逻辑解析 – 58同城房源描述采集案例
https://www.bilibili.com/video/BV14N4y1o73Y/
16.MacOS系统设计和执行eBay网站爬虫任务教程
https://www.bilibili.com/video/BV1E34y137fT/
17.如何定时执行任务
https://github.com/NaiboWang/EasySpider/issues/22
18.如何通过API调用来获得任务执行ID
https://github.com/NaiboWang/EasySpider/wiki/API-Invoke-Example
19.如何使用命令行执行任务|Commandline Arguments Instruction
https://github.com/NaiboWang/EasySpider/issues/28
https://github.com/NaiboWang/EasySpider/wiki/Argument-Instruction
20.任务流程有多个提取数据操作时,软件的执行和输出逻辑
https://github.com/NaiboWang/EasySpider/issues/35
21.并行多开,同时执行多个任务教程
https://www.bilibili.com/video/BV1Dj411b77M/
22.当前循环项包含元素的XPATH的写法
https://github.com/NaiboWang/EasySpider/wiki/当前循环项包含元素的XPATH的写法
23.Python代码运算后的结果作为文本框的输入
https://www.bilibili.com/video/BV1kF411R7VJ/
24.Cloudflare反爬处理
https://www.bilibili.com/video/BV1Ph4y1E7R9/
25.MySQL数据库写入教程
https://www.bilibili.com/video/BV1os4y1679S/
26.Exec和Eval模式使用教程
https://github.com/NaiboWang/EasySpider/wiki/EXEC和EVAL用法示例
27.调整浏览器窗口大小
https://github.com/NaiboWang/EasySpider/wiki/调整浏览器窗口大小
28.执行JavaScript语句时用正则表达式示例
https://github.com/NaiboWang/EasySpider/wiki/执行JavaScript语句时用正则表达式示例
4.相关项目/期刊推荐
Github期刊汇总:
- 周刊汇总:Github精选开源项目周刊,每周一更新
- 月刊汇总:Github精选开源项目月刊,每月30号更新
知乎项目推荐汇总:
- 项目精选专栏
- ChatGPT专栏
- AI图像专栏
- Github项目精选周刊
- Github精选项目月刊
更多Github开源项目
以上就是本期项目的分享,如果你喜欢本期的内容,欢迎收藏和关注OpenGithub社区:https://open.itc.cn/,我们会定期推送优质的开源项目。
Github历史期刊:https://github.com/OpenGithubs
- 周刊汇总:Github精选开源项目周刊,每周一更新
- 月刊汇总:Github精选开源项目月刊,每月30号更新
- 专栏汇总:Github精选开源项目专栏,不定期更新
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。