介紹

w12scan是一款網絡資產發現引擎，通過WEB接口下發任務，w12scan會自動將相關的資產聚合在一起方便分析使用。w12scan也是我的畢業設計。

w12scan分為WEB端（用于展示顯示數據）和Client端（用于搜索相關資產數據）。

這里是web端的開源程序，client端在https://github.com/boy-hack/w12scan-client

設計思想

基于python3 + django + elasticsearch + redis(去重+web與client通信中間件)，使用WEB API添加掃描目標，掃描完成后會在WEB端展示。

特點

WEB端

強大的搜索語法

title=“abc” # 從標題中搜索

header=“abc” # 從http頭搜索

body=“123” # 從body搜索

url = “*.baidu.com” # 搜索baidu.com的子域名，*號是通配符

ip = ‘1.1.1.1’ # 搜索IP，支持CIDR'192.168.1.0/24'和通配符搜索'192.168.1.*'

port = ‘80’ # 搜索端口

app = ’nginx’ # 搜索組件

country = ‘cn’ # 搜索國家

service = ‘mysql’ # 搜索服務

bug = 'xx' # 搜索存在的某個漏洞

通過搜索語法可搜索cms，服務名稱，標題，國家地區等等，能夠迅速找到相關目標。

自定義資產配置

通過自定義某公司相關域名或ip資產，w12scan會自動幫你找到對應的資產目標，當你瀏覽該目標時，有醒目的標識提醒你該目標的歸屬。

自動關聯

進入目標詳情，若目標為ip，則會自動關聯該ip上的所有域名和該c段上的所有域名。若目標為域名，則自動關聯旁站，c段和子域名。

多節點管理

WEB端會每隔幾分鐘檢測一次節點的運行狀況，你可以看到節點掃描的數量以及節點掃描日志。

任務restful

提供添加任務的接口，你可以在WEB端添加或者在任何軟件中集成該接口。

掃描端(Client)端

及時的poc驗證

通過對接airbug接口api，在線調用最新的poc驗證腳本，airbug保證了漏洞更新的及時性，你也可以fork airbug項目后自行添加poc規則。

驗證性攻擊

掃描端內置有常見的漏洞驗證服務，每掃描一次網址，都會運行這些服務，結果最終會反饋到w12scan的WEB端展現。

掃描與識別

端口掃描使用masscan，端口識別使用nmap，web應用識別調用wappalyzer和精簡版的w11scan（指紋識別）

容易的分布式

在程序架構設計就考慮到了這一點，掃描端只接受任務，最后的結果只和WEB端進行交互，所以在分布式上十分容易，直接在另一臺機器上運行掃描端即可。能基于docker進行分布式，也能很方便集成celery服務。

安裝

基于docker一鍵部署

git clone https://github.com/boy-hack/w12scan
cd w12scan
docker-compose up -d

等待一段時間后訪問http://127.0.0.1:8000默認用戶名密碼boyhack:boyhack

w12scan相關問題

根據服務器配置修改docker-compose.yml參數，設置elasticsearch內存占用大小，默認設置是521M，如果你是1G內存可以設置為128M。
具體=>在W12Scan跟目下，docker-compose.yml找到ES_JAVA_OPTS=-Xms512m -Xmx512m修改為ES_JAVA_OPTS=-Xms128m -Xmx128m,但是代價是在搜索和分析時可能會報內存不足的錯誤。所以內存還是越高越好。

在Windows上安裝，需要注意.sh文件格式問題。

Q:如何分布式部署？A:部署方案

https://github.com/w-digital-scanner/w12scan/blob/master/doc/DEPLOYMENT1.md

Q:啟動后搜索數為0？A:需要添加掃描目標

不要邊掃描邊搜索，elastisearch在插入數據時會作分析，分詞等等操作（此時效率不高），如果在此時搜索可能會返回503，建議掃描完畢后在進行搜索。(后期會使用數據遷移解決)