python插件式框架开发
前言
在扫描一个网站的时候，在扫描的生命周期的不同阶段有一些信息是我们想要获取的：比如在一个网站的基础信息搜集之后，我们还想对它进行端口扫描；比如我们想要检测这个网站是否存在WAF，WAF的版本，如果存在WAF的话后续的扫描就不用继续执行了；又比如在获取了一个网站中的动态URL之后，我们想要得到JS文件里面的所有接口信息等等。
同时这些需求也不是所有人都需要，因为功能越多扫描起来的速度就越慢。
它们并不是一个漏洞检测POC，因为我们想要获取的是一段探测的信息，并不只有True，False两种状态
所以我们很容易想到使用插件来实现这个功能
Python import() 函数
我们主要使用__import__() 函数来实现这个功能，__import__() 函数用于动态加载类和函数，如果一个模块经常变化就可以使用 __import__() 来动态载入。
用法如下
a.py文件
#!/usr/bin/env python
#encoding: utf-8
import os
print ('在 a.py 文件中 %s' % id(os))
test.py文件
#!/usr/bin/env python
#encoding: utf-8
import sys
__import__('a') # 导入 a.py 模块
执行test.py文件，输出结果为
在 a.py 文件中 4394716136
简单来说，我们只需要将插件放置在某一个特定的目录下，然后读取该目录下的全部插件，用__import__()函数依次执行每个插件的运行函数即可，最后统一将结果返回存储。
整体实现
先简单实现了这个动态调用的功能，后期根据需要继续改进插件部分的编写
def scanPlugin(url,plugin,tid):
tempPlugin = __import__("plugins.{}".format(plugin), fromlist=[plugin])
result=tempPlugin.run(url)
saveExts(result, tid, plugin)
saveExts()用来存储扫描得到的信息，run()函数是每个插件文件里面都需要写的，用来执行插件主体逻辑
一个端口扫描的插件如下：
import re
import socket
import nmap
def run(host):
'''
this is portscan exts example :D
:param host:
:return:
'''
pattern = re.compile('^\d+\.\d+\.\d+\.\d+(:(\d+))?$')
content = ""
if not pattern.findall(host):
host = socket.gethostbyname(host)
if pattern.findall(host) and ":" in host:
host=host.split(":")[0]
nm = nmap.PortScanner()
try:
nm.scan(host, arguments='-Pn,-sS --host-timeout=50 --max-retries=3')
for proto in nm[host].all_protocols():
lport = list(nm[host][proto].keys())
for port in lport:
if nm[host][proto][port]['state'] == "open":
service = nm[host][proto][port]['name']
content += '[*] 主机 ' + host + ' 协议：' + proto + '\t开放端口号：' + str(port) + '\t端口服务：' + service + "\n"
return content
except Exception as e:
nmap.sys.exit(0)
pass
def test():
print('hi')
if __name__ == '__main__':
print(run("127.0.0.1"))
扫描本地127.0.0.1之后得到的结果为：
可以看到扫描端口的结果是正确的，但随之而来又存在一个新的问题，请看导入包这一部分
import re
import socket
import nmap
这里的nmap包在我们本地的测试环境中是存在的，但是如果有用户上传的插件里面导入了一些我们没有的包，运行插件的时候自然会报错，导致插件导入之后也不能正常运行
考虑到很多编程语言都会有预处理这个过程，我们可以也可以对扫描器插件加载进行一次预处理，在刷新插件的时候，把插件内部需要导入，但是python环境里面不存在的包下载下来
这里只考虑了python脚本中按照import requests这种形式的导入，没有考虑变形的from xxx import xxx或者from xxx import xxx as xxx
其正则匹配规则为pattern = re.compile("^import (.*?)$")
一个简单的示例插件plugin1.py
import requests
import re
def run(url):
return "test {}".format(url)
def test():
print('hi')
if __name__ == '__main__':
test()
里面导入了requests和re包，实际上requests在我本地已经下载了,re是python内置的包
在python代码里面下载包的代码如下，这里直接用了清华源
from pip._internal import main
def install(package,source="https://pypi.tuna.tsinghua.edu.cn/simple"):
main(['install', package,'-i',source])
预处理的函数为
def getDepends(dir):
pattern = re.compile("^import (.*?)$")
moduleKeys=list(sys.modules.keys())
currdir = os.path.join(os.path.dirname(os.path.dirname(__file__)),dir)
for files in os.listdir(currdir):
if os.path.splitext(files)[1] == '.py' and not files.startswith("_"):
filename = os.path.splitext(files)[0]
filepath=currdir+"/"+filename+".py"
logging.info("{} is Checking".format(filepath))
with open(filepath, 'r') as f:
for line in f.readlines():
result=pattern.findall(line.strip())
if result:
name=result[0]
if name and checkLib(name,moduleKeys):
logging.info("{} Lib is Loading".format(name))
install(name)
else:
print("{} Lib is Loaded".format(name))
return
name是我们获得的包名，checkLib(name,moduleKeys)函数用来检测包是否下载，未下载则返回True
考虑到内置包和pip下载包，所以在try里面分了两步进行
def checkLib(libName,moduleKeys):
try:
if libName in moduleKeys:
return False
importlib.import_module(libName)
return False
except Exception as e:
logging.warning(e)
return True
检测结果为
使用pip uninstall卸载掉requests包，重新运行
下载成功，实现了预处理下载的功能
参考链接
https://www.jianshu.com/p/a472f44c7161https://www.runoob.com/python/python-func-__import__.htmlhttps://www.jb51.net/article/232964.htm