以下功能会在有空的时候集中开发，大家有什么想要的功能也可以提issues留言，也欢迎大家fork之后帮我开发并提交pull request~

这部分是长期开发计划：

• 设计阶段通过outside:code.js来加载JS代码，并暴露交互接口方便和设计阶段的程序交互。

• 接入cms。

• m3u8下载。

• 智能检测主要内容块并标记选中，思路：先滚动直到到达5次没有新内容加载，然后根据网页中的html内容，检测最大的块（子元素结构一致且数量最多的块）作为主要块，并自动选中子元素。
  另一种思路：将整个网页每个节点的具体内容替换成长度的数字，然后分析这个树，根据字数长短寻找最佳块。占比面积最大的块是什么，标记清楚（硕士论文最早的一章）。

• 引入大语言模型，用于分析页面主要内容及识别验证码等，如将图片类验证码转换为文字后，用大语言模型/多模态模型过验证码。

• 构建Docker镜像和Web前端页面，可以远程访问，调用和执行服务器的爬虫任务；通过http调用的方式直接执行任务。

• Oracle/Sql Server/MongoDB/Postgre数据库入库功能。

• iframe层数设置。

• 循环和提取数据可以不止选择第一个元素。

• 底层框架可以考虑换playwright。

• 操纵扩展页面。

• 手机APP采集支持。

• 插件版本的EasySpider处理CloudFlare等极端网站。

• 任务列表排序和搜索。

• 拼接后给XPath最终是多少的提示。

• 插件测试，saveData()之前过一个全局插件用来处理数据为其他指定格式，如导入翻译插件（新导包的路径依赖怎么做），试一下是否可以将self.替换成其他的如browser.就可以完成指定任务。

• 命令行默认为local模式。

• 数据写入模式中增加文件已存在自动重命名，下载文件同名情况下重命名（多线程测试，keyboard参数测试，采集速度测试，两个相同任务ID同时下载文件测试）。

• cookies池功能。

• 自定义操作新增“生成新数据行”，“清空字段值”，“退出程序”的操作。

• 自定义操作新增“切换标签页”，“关闭当前标签页”，“最大化窗口”的操作，循环文本列表同样需要处理标签页。

• 试运行JS增加提示返回值功能。

• 提取数据操作试运行可以实时显示多数类型的元素提取值。

• 字段内容示例值很长时自动换行。

• MacOS下循环点击每个链接的Bug修复。

• 判断条件增加多个值，与或都行。

• 操作台增加OCR识别图片选项。

• 下载的图片名称可自定义，用于后续读取图片方便验证码识别等。

• 出一期设计阶段不用自带浏览器设计的教程（不能自动点击和输入文字）。

• 文心一言测试。

• PDF生成。

• 文章生成doc，图片插入到文字中保持顺序不变。

• 保存任务提示时间减少。

• 操作备注。

• 循环的XPath也可以使用上层循环做拼接。

• 可选是否加载图片和视频以提高效率。

• （Bug修复）打开网页默认应该打开的是链接池的第一个链接。

• 双击操作。

• mysql数据去重bug：1054, unknown column '_id' in 'field list'.

以下是案例：Easyspider采集公开招标信息记录
一、应用场景
在**政府采购网中，采集公开招标信息，采集的信息包括公开招标主页数据和公告明细页数据。
URL：http://www.ccgp.gov.cn/cggg/dfgg/gkzb/
二、设置流程

流程说明：
1.打开网页。
2.循环点击下一页：xpath：//*/a[@Class="next"]，测试时只循环1次。
3.循环提取数据：xpath：/html/body/div[2]/div[1]/div[1]/div[1]/div[2]/div[1]/ul[1]/li
4.提取总览数据：提取采购公告总览列表数据，提取项目名称、发布时间、地域、采购人、连接地址字段。
5.点击进入明细页：点击采购公告名称链接，进入公告明细页面。xpath：/html/body/div[2]/div[1]/div[1]/div[1]/div[2]/div[1]/ul[1]/li/a[1]
6.提取明细也数据：提取明细页全部数据，字段名“采购公告”，xpath：/html/body/div[2]/div[1]/div[2]
7.点击下一页：点击下一页按钮。
三、问题
执行任务，能进入明细页和跳转下一页，能成功实现数据采集，但是采集的数据有问题，提取总览数据和提取明细页数据，有冗余，并且不能一一对应，提取第一部分数据有两行，提取第二部分数据也有两行，两部分数据交错对应。
请帮忙看下是什么问题，是不是设计流程出了问题？
四、附件
1.word记录；
2.设计流程json；
3.提取的数据；
4.日志。
Uploading 附件.zip…

后续是否支持配置数据mysql存储

任务目的，采集一个电商网站的类目，并将其进行自定义排列。
网站：https://www.fruugo.co.uk/sets-snap-fasteners-kit-tool-metal-snap-buttons-rings-with-fastener-pliers-press/p-144913113-305735011

元素所在位置前端解析：
我写的脚本语言是：
return
arguments[0].innerTextreplaceAll(‘\n','').trim().replace(/\s{2,}/g,' > ')
其实就是先把获取元素的innerText整理一下，把换行符号去掉，再去掉前后的空格，最后得到的格式是中间带有多个空格，把它们替换成符号 >来连接。
单个链接跑了一次，是成功的

当我跑20个链接以上，就又不行了

如题

感谢作者的项目！
作者有考虑在提取数据这里支持手动添加字段吗，既然已经有了修改、删除、上移、下移功能，为何不增加"添加"功能。不知道是我操作的问题还是什么原因，使用自带的操作提示框来编辑字段时经常出现添加的不是我需要的字段的现象。

ERROR:device_event_log_impl.cc(222)] [09:20:54.920] USB: usb_service_win.cc:415 Could not read device interface GUIDs: 系统找不到指定的文件。 (0x2)

对于MacOS 10.x系统，下载EasySpider后，设计任务时可正常使用，执行任务时需手动编译运行，方式为：

1. 下载源代码：
   
2. 解压后，打开命令行，进入ExecuteStage文件夹，然后运行pip3 install -r requirements.txt命令：

cd Downloads/EasySpider-master/ExecuteStage
pip3 install -r requirements.txt

3. 拷贝easyspider_executestage.py文件到之前下载好的EasySpider文件夹（带easyspider_executestage可执行文件的那个文件夹）：

4. 命令行进入此文件夹，然后将提示命令中的./easyspider_executestage替换成python3 easyspider_executestage.py 后面不变：

cd 你的EasySpider文件夹，如：cd /Users/你的用户名/Downloads/EasySpider_MacOS_all_arch
python3 easyspider_executestage.py --id '[3]' --user_data 0 --server_address http://localhost:8074 --config_folder "/Users/panbing/Library/Application Support/EasySpider/" --headless 0 --read_type remote --config_file_name config.json --saved_file_name 

即可执行任务。

Originally posted by @NaiboWang in #65 (comment)

easyspider默认使用的是谷歌浏览器，但是我平常使用的是edge，想请问能否设置成默认使用edge

续#25。构建代码方面。

• 1. [建议] 打包的EasySpider_0.3.0_Beta_windows_amd64.7z中，Chrome的Installer大概是不需要的，压缩包能节省100MB。
• 2. [建议] 构建流程有点散乱和复杂，虽然有几份自述，但还是不太懂。
• 3. [建议] 建议加一个npm run start_direct的.cmd文件。
• 4. [问题] start_direct后，点击启动任务会报错，不确定放错了什么。或者是否不打包就不能运行，缺少相关结构。
• 5. [建议] 为VSCode调试命令定义任务文件。
• 6. [建议] Chrome及chromedriver的下载和环境检查，建议脚本化，至少向导脚本。
• 7. [疑问] https://chromedriver.storage.googleapis.com/index.html?path=113.0.5672.63/ 只提供win32，不确定是否可以及如何用。
• 8. [问题] package_*.cmd有一行没用%temp%
• 9. [疑问] ElectronJS/package_win32.cmd不需要检测UAC吗。不确定为什么检测。
• 10. [问题] clean bat多处rmdir/s丢失空格。
• [疑问] 不确定作用，clean为什么还move文件。
• [建议] 32和64位bat是否能合二为一。是否该写成python或nodejs脚本，既然依赖其环境。
• 11. [问题] out输出的tasks目录是空的，是否脚本流程未覆盖。
• 12. [疑问] EasySpider\ElectronJS\out\EasySpider-win32-x64目录名令人困惑。
• 13. [建议] 提供功能及环境自检界面。如Chrome和chromedriver等文件是否备好、版本号，要使用OCR识别功能，你需要安装Tesseract-OCR并将其添加到环境变量PATH中等。
• 14. [疑问] electron-forge make后的文件，是一个自动安装的安装包吗。EasySpider-0.3.0-full.nupkg又是做什么。
• 15. [问题] EasySpider-0.3.0 Setup.exe 自动安装期间似乎该程序被启动多次，卸载时似乎程序会被启动。
• 16. [建议] ElectronJS\package.json "license": "CC0-1.0", 疑似有误。
• 17. [建议] 无需自带vs_BuildTools.exe，提供 https://aka.ms/vs/15/release/vs_buildtools.exe
• 18. [疑问] 步骤中的npm install @electron-forge/cli能否省略，package.json中定义不够吗。
• 19. [建议] optional: npm run make没解释作用。Package Instruction与For windows x64的打包指令存在重叠。
• 20. [疑问] EasySpider.bat只是启动exe，好像不太有用。
• 21. [疑问] 25KB EasySpider.exe的构建方法是否已开源。

界面方面：

• 1. [低优先级] 记住语言和语言切换。
• 2. 任务列表 URL栏不够宽。
• 3. [建议] 个人倾向URL均称“网址”。
• 4. 任务列表 页面，看到双重的垂直滚动条。大概垂直分辨率相关。
• 5. 任务信息 页面，左边距明显大于右边距，并产生水平滚动条。大概分辨率相关。
• 6. 任务流程修改 页面缺少右边距。或许垂直滚动条占位了。
• 7. tasks目录中的文件序号，与任务列表的ID（实则序号）似乎是不对应的，可能误导、误覆盖等。可以考虑不用数字作文件名，选一种类似UUID的方案？
• 8. EasySpider_0.3.0_Beta中的任务文件，中文是直接写的。git库中的，是\u形式。后者不容易查找。
• 9. [低优先级] 任务文件json，如果有手动查看和编辑的预期，自带缩进也许会好一些。体积和处理复杂度会轻微增加。
• 10. 任务文件中节点的nodeName，也许不利于跨语言交流和交换。是否考虑未修改的步骤名称被允许或默认留空。例如“Bilibili粉丝”任务，修改任务流程，看到的是"Open Page" "Loop"等英文步骤。

求一版linux下的运行流程，另外就是任务的json文件是怎么生成的

cannot load 'Python3'

系统：Mac 10.14.6

Python3 命令行调用良好，报这个错，请问如何解决？

上图绿框中的元素能识别，红框中的元素识别不了，无法选中。想问问博主是什么情况

可不可以讲讲你的架构，我想参考你的架构做个程序。
我知道你的程序是使用 Python 调用 selenium ，但是你这个图形界面是怎么搞的？
期望有时间出个架构图和简单讲解，谢谢大神。

我在流程中的不同节点提取不同的数据，但是我发现每次都生成新的一行数据。
比如我在4个节点提取4个字段，会生成4条数据，最后一条数据是完整。

这个是我使用方式不正确吗？应该如何设置？

Hi,

Could you tell me where you bought the stars for this repo and the price? It has pretty high quality!

Sincerely
Bernadette

支持：

RT

登录页面，输入用户名、密码后有个智能验证，正常手工登录点击后显示验证成功，但Easyspider点击后变成从左往右拖的再次验证，请教该如何处理？

正常界面：

Easyspider自动运行界面：

比如我在window上设计好任务，然后在ubuntu上无界面执行这个任务

好奇作者的推广方式

天眼查或者企业信息网

大佬，可以修改源码调用的tesserract库吗，有的话是在哪个代码文件

回答：

V0.3.0正式版及以上版本支持，以下版本处理方案：

两种方式，第一种采集图片链接，然后用迅雷之类的软件通过链接批量下载；第二种 软件本身支持截图功能，直接把图截下来也可以，只是清晰度可能不如原始图片清晰。

https://www.bilibili.com/video/BV1dV4y1z764/

Windows x64下想要使用命令行执行程序，需要以下操作：

1. 调用任务时在下方获得任务执行号，记住这个执行ID：

2. V0.3.0及以上版本，点击下方使用命令行执行任务按钮即可获得命令行指令：

3. 复制提示的命令到Windows PowerShell即可通过命令行执行命令：

4. 有关命令行参数的说明，请查看以下文档：

https://github.com/NaiboWang/EasySpider/wiki/Argument-Instruction

其中，配置目录地址写在了上图config.json文件的absolute_user_data_folder字段中；为0则为纯净版浏览器。

Windows x32位下使用命令行，只需将上面命令路径中的chrome_win64改为chrome_win32即可：

./EasySpider/resources/app/chrome_win32/easyspider_executestage.exe --id 4 --user_data 1 --server_address http://localhost:8074

Originally posted by @NaiboWang in #22 (comment)

本人mac，版本11.6.7，之前下载了0.3.1版本，能成功打开、成功使用。但是在复现作者mac版ebay案例的视频时，结果csv始终为空。后来终端报错“cannot create temporary directory”、"Failed to extract ...: decompression resulted in return code -1!"。再后来EasySpider已经无法打开，报错如下：

望作者回复！

服务器ubuntu
架构arm

系统版本 macos Ventura 13.3.1 (a)
按照B站教程 结果最后提示：
Cannot automatically check new version, please use the following command to check whether a new version avaliable and upgrade by pip:
pip index versions commandline_config
pip install commandline --upgrade
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
File "easyspider_executestage.py", line 674, in clean
File "easyspider_executestage.py", line 660, in saveData
TypeError: can only concatenate str (not "NoneType") to str

Saving session...
...copying shared history...
...saving history...truncating history files...
...completed.
不知道怎么回事

设置打开页面并滚动底部，如果不设置滚动次数，并不会实现滚动的操作，且次数如果不够，也是不会实现滚动到底部的目标。不知道是我设置的问题还是程序本身的问题。

在unbuntu18上运行解压后EasySpider_0.1.0_linux.Ubuntu._amd64.tar.xz，在使用本地运行爬虫后，终端提示GtkDialog mapped without a transient parent，没有后续弹出窗口，进行程序爬取和存储数据的运行。

按照软件逻辑来说，数据交错应该每隔两行的数据是对应好的，因为软件本身的逻辑是每一个提取数据操作执行完成后都会输出一行，你的任务流有两个提取数据操作，因此每一轮采集都会输出两行，偶数行的数据是对应的。如第一个提取数据由字段A，B，C组成，第二个由D，E组成，那么第1轮采集时，软件会先填充ABC输出一行，再填充DE并保留之前ABC的值再输出一行。下一轮采集时，第一次ABC的值会变成第2次的新值，DE的值仍然是第一次的旧值；第二次ABC的值保留，DE的值变成第二次的新值，用表格表示即：

也就是说，流程中有几个提取数据的操作，每一轮执行就会生成几行。

因此，加粗部分的值应该是一一对应好的值，其余的值可以删掉，你用excel简单操作一下就可以了，可以看一下数据是不是我说的这样子。

另外另一个解决方案是使用即将发布的v0.3.0版本，新版本支持采集打开页面的标题，就不需要先提取总览数据再提取明细页数据了。

Originally posted by @NaiboWang in #34 (comment)

假如我打开网页的参数值是 https://www.baidu.com/s?ie=UTF-8&wd=哈哈
那么我能不能通过命令行或者http请求传入参数, 让任务执行时打开的网址是 https://www.baidu.com/s?ie=UTF-8&wd=天气

I have a busy scientific research task and can only spend one day a week to maintain this project. Therefore, the issue should be replied within 7 days. I hope you can understand.

https://www.bilibili.com/video/BV1Fk4y1L7xX/?spm_id_from=333.1007.tianma.2-2-4.click&vd_source=b3457273a242c945f529bb9fee2a9b94

感谢大佬的项目，调试最新的3.0版本出现问题，无论是源代码运行还是软件，创建新任务时，EasySpider界面并没有进入编辑流程，源代码运行甚至会出现闪退，重启之后不闪退，仍无法进入编辑流程界面

类似下面这几种：

在页面上可以通过点击的方式获取提取规则

我不清楚是我操作理解问题还是有bug哈。我先描述下情况，网页是瀑布楼的，我先滚动列表页页到底部，然后使用移动到元素（目的是回到列表页第一个元素进行后续操作），但发现移动不了（也尝试直接点击不添加移动，也不行），提示找不到这个元素。
感谢提供这么好的工具！

openPage
Loading page: https://civitai.com/images
Click
Click
Cannot find element://*[@id="913751"]/div[1]/a[1]/img[1], please try to set the wait time before executing this operation
Message: javascript error: Cannot read properties of null (reading 'click')
(Session info: chrome=113.0.5672.93)
Stacktrace:
Backtrace:
GetHandleVerifier [0x00C18893+48451]
(No symbol) [0x00BAB8A1]
(No symbol) [0x00AB5058]
(No symbol) [0x00AB83F1]
(No symbol) [0x00AB9DEB]
(No symbol) [0x00B0CDD9]
(No symbol) [0x00AFA2BC]
(No symbol) [0x00B0C482]
(No symbol) [0x00AFA0B6]
(No symbol) [0x00AD7E08]
(No symbol) [0x00AD8F2D]
GetHandleVerifier [0x00E78E3A+2540266]
GetHandleVerifier [0x00EB8959+2801161]
GetHandleVerifier [0x00EB295C+2776588]
GetHandleVerifier [0x00CA2280+612144]
(No symbol) [0x00BB4F6C]
(No symbol) [0x00BB11D8]
(No symbol) [0x00BB12BB]
(No symbol) [0x00BA4857]
BaseThreadInitThunk [0x76467D59+25]
RtlInitializeExceptionChain [0x7729B74B+107]
RtlClearBits [0x7729B6CF+191]