chaitin / rad Goto Github PK

View Code? Open in Web Editor NEW

1.4K 1.4K 121.0 15 KB

rad's Issues

登录功能不可用

rad -t http://example.com -wait-login
使用该命令，命令提示“进行手动登录”，但是登录界面未加载，浏览器为空白页，任意键后浏览器加载目标页面，直接进入扫描，手动输入功能不可用。

建议增加忽略证书校验的功能

在命令行或者配置文件中加入是否忽略证书校验的选项，这样被动扫描的时候就不用倒入扫描器的证书了，更方便一些。

只要在启动chrome的时候添加 --ignore-certificate-errors 参数即可

--wait-login与-http-proxy联合使用问题

命令：./rad_darwin_amd64 -t https://xxx.com/login --wait-login -http-proxy 127.0.0.1:7777
--wait-login命令如何与-http-proxy一起使用？谢谢。
--wait-login打开一个新的chrome,终端监听了地址端口，新的chrome装不了插件。

rad建议

enhancement:

fuzz 入口发现
针对各种延时/超时设置
启动参数中指定config文件绝对路径
隐藏参数发现

bug:
以下站点爬取不全
https://www.mapmyfitness.com/
http://www.cloudways.com
https://cs.money/

以下站点网络不稳定情况爬取不到:
https://hsrd.yahoo.com/
https://mobile.line.me

exec_path: "离谱"

离谱了，这么个问题折腾半小时。然后自己解决了
exec_path: 的值不能有双引号。

如过遇到路径有空格怎么办呢（我没测试，不知道支持不）

chrome failed to start

[ERRO] 2020-10-23 09:43:21 [default:radium.go:151] chrome failed to start:

chrome failed to start:
已添加过环境变量，chrome也在默认路径，也是最新版。
但xray的--browser-crawler和 rad都无法使用。

希望增加这个功能，可以导入txt里面的目标，而不是每次去扫一个url

parse query error invalid URL escape "%fG"

[ERRO] 2021-09-08 21:27:56 [default:request.go:166] parse query error invalid URL escape "%fG"

无法爬取window.location.assign

比如这个url里的
https://adsl-99-126-65-113.dsl.akrnoh.sbcglobal.net/

onclick="window.location.assign('/hr/')

invalid memory address or nil pointer dereference

对webgoat进行登录爬取，并且在disallowed-urls里配置了logout的排除，但是没爬多少数据就报错了
环境：

Rad 0.4/ebbb3ce3

配置文件：

enable-image-display: false                  # 启用图片显示，适用于需要验证码登录的情况，启用wait-login自动开启
load-wait: 0                                 # 页面加载完毕后的等待时间，单位秒，网速不佳时可尝试调大该值
exec-path: ""                                # 启动chrome的路径
disable-headless: false                      # 禁用无头模式
request-config:                              # 请求头配置
  user-agent: ""                             # 请求user-agent配置
  headers:                                   # 请求header配置
  - key: ""                                  # header的key
    value: ""                                # header的value
  cookies:                                   # 请求cookie配置
  - name: ""                                 # cookie的name
    value: ""                                # cookie的value
restrictions-on-urls:                        # 对爬取的URL的一些限制项
  disallowed-suffix: []                      # 不允许的文件后缀
  disallowed-keywords-in-path-and-query: []  # 不允许的URL关键字
  disallowed-domain: []                      # 不允许的域名
  disallowed-urls: ["[a-z/]*logout[a-z/]*"]                        # 不允许的URL（正则）
  allowed-domains: []                        # 允许的域名，起始目标会被自动加入其中
  allowed-urls: []                           # 允许的URL（正则）
restrictions-on-requests:                    # 对请求行为的一些限制项
  max-concurrent: 10                         # 最大页面并发（不大于10）
  max-depth: 5                               # 最大页面深度限制
  max-click-depth: 5                         # 一个页面中最大点击深度限制
  max-count-of-page: 1000                    # 最多爬取的页面数量限制
  max-click-or-event-trigger: 1000           # 单个页面中最大点击或事件触发次数(不大于10000)
  click-or-event-interval: 1000              # 点击间隔，单位毫秒

websocket url timeout reached这个是什么意思

http-equiv="refresh" 跳转跟随

rad是否可以提供这个功能，在遇到 http-equiv="refresh" 时，爬虫可以跟随到 /admin 路径下

<head>
       <meta http-equiv="refresh" content="1;URL='/admin'"/>
</head>

使用默认的参数运行 ./rad_linux_amd64 -t http://testphp.vulnweb.com/ --text-output testphp.vulnweb.com.txt
发现如http://testphp.vulnweb.com/artists.php 这个页面中的 http://testphp.vulnweb.com/comment.php?aid=1 无法抓取到. 不知道是程序的抓取方法没匹配到还是说要设置什么参数

exec: "google-chrome": executable file not found in %PATH%错误怎么解决

原谅菜鸟，第一步就被绊倒了
rad_windows_amd64.exe打开-t xxxx.com，提示错误如下

chang's

[ERRO] 2020-10-14 18:16:49 [default:radium.go:151] exec: "google-chrome": executable file not found in %PATH%
exec: "google-chrome": executable file not found in %PATH%
尝试在系统设置-环境变量中添加google浏览器的路径，但仍然提示上述错误

rad运行会停止

我把rad命令使用;``或&&`连接起来形成类似这样的语句的时候：
./rad_linux_amd64 -t http://xxxx.com --http-proxy 127.0.0.1:7777 &&./rad_linux_amd64 -t http://xxasdaxx.com --http-proxy 127.0.0.1:7777 &&./rad_linux_amd64 -t https://xxasxxdaxx.com --http-proxy 127.0.0.1:7777 &&./rad_linux_amd64 -t https://xxxxasdaxx.com --http-proxy 127.0.0.1:7777 （当然比现在的还要长，大概上千个）
会出现爬到某一个网站的某一个页面的时候直接停掉，就停在那里不动，也不进行下一个目标的爬取，也不结束程序，直到人为操控，这是咋回事呢？
应该并不是另一边xray那边队列长度的限制，因为xray那边都扫描完了，这边的还是不动

功能建议

我看到rad是爬了一些接口，可以单独把js爬出来么🌹。
例如网页为

<script src="/js/jquery-1.11.0.min.js" charset="gbk"></script>
--
  | <script src="http://target1.com/new/pc/js/https_util.min.js?v=20180607"></script>
<script src="http://target2.com/new/pc/js/https_util.min.js?v=20180607"></script>
<script src="http://target3.com/new/pc/js/https_util.min.js?v=20180607"></script>

提取结果
``

希望增加--push-to-proxy功能

希望增加--push-to-proxy功能
因为节点可能不是本机所以建议支持此功能

0.4版本报错

root@iZt4n1sswjid2nrd8b0cetZ:~/testrad# ./rad_linux_amd64 -t https://example.com

██████╗ █████╗ ██████╗
██╔══██╗██╔══██╗██╔══██╗
██████╔╝███████║██║ ██║
██╔══██╗██╔══██║██║ ██║
██║ ██║██║ ██║██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═════╝

[Rad 0.4/ebbb3ce3]
Build: [2021-04-30] [linux/amd64] [RELEASE/unknown]
Compiler Version: go version go1.15.6 linux/amd64

[ERRO] 2021-05-01 02:16:40 [rad:radium.go:209] [launcher] Failed to get the debug url: [0501/021639.748738:ERROR:zygote_host_impl_linux.cc(90)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.

[launcher] Failed to get the debug url: [0501/021639.748738:ERROR:zygote_host_impl_linux.cc(90)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.

支持基于会话爬虫

如题

加上捕获ctrl+c比较方便中止

不然停不下来

功能建议

在爬取之前进行目录扫描，增加入口点（可加入选项）
http隐藏参数爆破
json格式输出(post包要带data)(最好可直接打印出来和存成文件)可参考crawlergo输出形式

添加--http-proxy 参数后爬取结果异常

如题，添加--http-proxy 参数后爬取结果异常

PS C:\Users\Admin\Downloads> .\rad_windows_amd64.exe -t http://testphp.vulnweb.com

██████╗  █████╗ ██████╗
██╔══██╗██╔══██╗██╔══██╗
██████╔╝███████║██║  ██║
██╔══██╗██╔══██║██║  ██║
██║  ██║██║  ██║██████╔╝
╚═╝  ╚═╝╚═╝  ╚═╝╚═════╝

[Rad 0.2/638f30fd]
Build: [2020-09-10] [linux/amd64] [RELEASE/__unknown__]
Compiler Version: go version go1.14.4 linux/amd64

[INFO] 2020-09-10 19:32:53 [collector:mitm.go:226] loading cert from ./ca.crt
[INFO] 2020-09-10 19:32:53 [collector:mitm.go:227] loading cert key from ./ca.key
[INFO] 2020-09-10 19:32:54 [collector:mitm.go:55] no global filter config found, use default
[INFO] 2020-09-10 19:32:54 [collector:mitm.go:108] no global mitm config found, use default
[INFO] 2020-09-10 19:32:54 [collector:mitm.go:264] starting mitm server at 127.0.0.1:64253
GET http://testphp.vulnweb.com/
POST http://testphp.vulnweb.com/search.php?test=query
GET http://testphp.vulnweb.com/index.php
GET http://testphp.vulnweb.com/categories.php
GET http://testphp.vulnweb.com/artists.php
GET http://testphp.vulnweb.com/disclaimer.php
GET http://testphp.vulnweb.com/AJAX/index.php
GET http://testphp.vulnweb.com/guestbook.php
GET http://testphp.vulnweb.com/userinfo.php
GET http://testphp.vulnweb.com/login.php
GET http://testphp.vulnweb.com/privacy.php
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/
GET http://testphp.vulnweb.com/AJAX/artists.php
GET http://testphp.vulnweb.com/hpp/
POST http://testphp.vulnweb.com/userinfo.php
GET http://testphp.vulnweb.com/AJAX/infoartist.php?id=1
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/Details/network-attached-storage-dlink/1/
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/Details/web-camera-a4tech/2/
GET http://testphp.vulnweb.com/AJAX/categories.php
GET http://testphp.vulnweb.com/AJAX/titles.php
GET http://testphp.vulnweb.com/listproducts.php?cat=1
GET http://testphp.vulnweb.com/signup.php
POST http://testphp.vulnweb.com/guestbook.php
GET http://testphp.vulnweb.com/hpp/?pp=12
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/BuyProduct-1/
POST http://testphp.vulnweb.com/AJAX/showxml.php
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/RateProduct-1.html
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/BuyProduct-3/
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/RateProduct-3.html
GET http://testphp.vulnweb.com/hpp/params.php?aaaa%2F=%26%2325552%3B%26%2320132%3B
GET http://testphp.vulnweb.com/artists.php?artist=1
GET http://testphp.vulnweb.com/comment.php?aid=1
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/BuyProduct-2/
GET http://testphp.vulnweb.com/Mod_Rewrite_Shop/RateProduct-2.html
GET http://testphp.vulnweb.com/hpp/params.php?p=valid&pp=12
POST http://testphp.vulnweb.com/secured/newuser.php
GET http://testphp.vulnweb.com/listproducts.php?artist=1
POST http://testphp.vulnweb.com/comment.php
GET http://testphp.vulnweb.com/showimage.php?file=./pictures/1.jpg
GET http://testphp.vulnweb.com/comment.php?pid=1
GET http://testphp.vulnweb.com/showimage.php?file=./pictures/1.jpg&size=160
GET http://testphp.vulnweb.com/product.php?pic=1
PS C:\Users\Admin\Downloads> .\rad_windows_amd64.exe -t http://testphp.vulnweb.com --http-proxy http://127.0.0.1:7777

██████╗  █████╗ ██████╗
██╔══██╗██╔══██╗██╔══██╗
██████╔╝███████║██║  ██║
██╔══██╗██╔══██║██║  ██║
██║  ██║██║  ██║██████╔╝
╚═╝  ╚═╝╚═╝  ╚═╝╚═════╝

[Rad 0.2/638f30fd]
Build: [2020-09-10] [linux/amd64] [RELEASE/__unknown__]
Compiler Version: go version go1.14.4 linux/amd64

GET http://testphp.vulnweb.com/
PS C:\Users\Admin\Downloads>

除了 http://testphp.vulnweb.com 这个站点之外，尝试过其他站点也存在这种情况，由于授权的原因，无法提交示例

看起来只能针对某个单一的域名进行爬取，建议增加一个批量读取的URL的
- 如：本地新建txt文本，把需要爬取的目标放到里面，然后批量爬取
另外只能针对高级版进行深度融合吗？社区办支持吗？文档里面没有说明~

chaitin / rad Goto Github PK

rad's Issues

Recommend Projects

Recommend Topics

Recommend Org