EasySpider 是一款用户友好的浏览器自动化测试、数据采集和爬虫工具,它提供了一个直观的图形界面,允许用户无需编写代码即可设计和执行任务。用户只需在网页上选择所需操作的内容,并按照提示框的指示进行操作,即可轻松完成设计和执行任务。此外,该软件还支持命令行操作,使得它能够方便地集成到其他系统中。整个过程,完全不需要手写代码,真正实现了无代码、可视化爬虫的开发。
项目功能
-
定时执行任务:自定义任务执行时间,定时执行任务 -
并行执行任务:支持并行执行任务,提升抓取数据效率 -
ocr 和图像识别:识别元素内容,常用于文字验证码 -
自定义循环元素:自定义循环抓取 -
自定义点击元素:自定义抓取的元素 -
切换代理 IP 地址池:支持代理 ip 地址池,防止被封 ip
项目特点
-
跨平台支持:支持 winsdows、linux 和 MacOS 多种操作系统,满足不同用户的需求 -
开源免费无广告:代码开源,软件所有功能均免费,且没有任何弹窗广告 -
安全:无需注册,所有任务都在本地运行,不经过 第三方服务器 -
简单快速:图形化操作界面,分钟级开发爬虫任务 -
自定义插件:支持外挂 自定义插件,实现自定义功能
下载安装包部署
EasySpider 支持多种操作系统,大家可以在 github 项目中下载对应操作系统的安装包安装即可。
sudo docker run -d -p 4444:4444 --name selenium-chrome --shm-size="4g" selenium/standalone-chrome
./EasySpider/resources/app/chrome_linux64/easyspider_executestage --ids [0] --docker_driver http://localhost:4444/wd/hub --user_data 0 --server_address http://localhost:8074 --config_folder "./" --headless 1 --read_type local --config_file_name config.json --saved_file_nam
已选中和待选择示例:
循环点击 58 同城房屋标题以进入详情页采集示例:
58 同城房源信息采集服务部分采集结果展示:
© 版权声明
博主的文章没有高度、深度和广度,只是凑字数。利用读书、参考、引用、抄袭、复制和粘贴等多种方式打造成自己的纯镀 24k 文章!如若有侵权,请联系博主删除。
喜欢就点个赞吧