先运行起来
1.各api,自行用小飞机进行注册好
解决红色报错
1.yahoo模块报错,代码中获得配置中的代理没生效,遂报错(提了issus),在yahoo.py的第24行插入
self.proxy = self.get_proxy(self.source)
2.github的接口使用的语法有问题,没找到解决办法,遂忽略。没提issus,(-懒
3.Fofa的模块等同于不存在,抓了下包,是因为使用的语法需要币,肯定没有,忽略忽略
4.google_api的模块,header不需要了,加上key的header头反而会显示认证错误
将google_api.py的29行代码注释掉即可
5.114.55.181.28/check_web/databaseInfo_mainSearch.action这个是api升级了,一直没恢复,忽略
解决一些超时红色
1.oneforall设置的默认超时太短了,大部分网络应该达不到要求,default.py的101行代码斟酌修改一下
request_timeout_second = (17.05, 27) # 请求超时秒数(默认connect timout推荐略大于3秒)
2.oneforall里的一些国外网站的模块,虽然国内访问慢,但是能访问,所以默认是即便你设置了代理也并没有对这些模块生效,会大概率超时红色。setting.py的66行我的配置是以下的,全不全不太清楚,因为我关闭了大部分模块,只保留了oneforall独有的模块
proxy_partial_module = ['GoogleQuery', 'AskSearch', 'DuckDuckGoSearch', 'GoogleAPISearch', 'GoogleSearch', 'YahooSearch',
'YandexSearch', 'CrossDomainXml', 'ContentSecurityPolicy', 'GithubAPISearch', 'HackerTargetQuery',
'QianXunQuery', 'AskSearch', 'VirusTotalAPIQuery', 'Sublist3rQuery','ArchiveCrawl','CommonCrawl'] # 代理自定义的模块
3.虽然oneforall存在设置所有模块都启用代理的选项,但真设置了也会有问题,没深究。
4.个人的一些需求—我关闭了oneforall与subfinder重叠的模块,保留了他独有的,是在setting的33行代码设置的,当然32行要写改为False,下面是我筛选出来准备启用的
enable_partial_module = ['modules.certificates.google','modules.check.axfr','modules.check.cdx','modules.check.cert','modules.check.csp','modules.check.nsec','modules.check.robots','modules.check.sitemap','modules.crawl.archivecrawl','modules.crawl.commoncrawl','modules.datasets.chinaz_api','modules.datasets.chinaz','modules.datasets.cloudflare_api','modules.datasets.ip138','modules.datasets.netcraft','modules.datasets.qianxun','modules.datasets.wzpc','modules.dnsquery.mx','modules.dnsquery.ns','modules.dnsquery.soa','modules.dnsquery.spf','modules.dnsquery.txt','modules.intelligence.riskiq_api','modules.search.ask','modules.search.baidu','modules.search.ask','modules.search.bing','modules.search.gitee','modules.search.google_api','modules.search.google','modules.search.so','modules.search.sogou','modules.search.yahoo','modules.search.yandex'] # 启用部分收集模块 必须禁用enable_all_module才能生效
5.同时我也关闭了爆破选项,准备用ksubdomain跑。。
- 效果图: