項目介紹

Project Introduction

當前網絡技術的應用在給人們帶來巨大便利的同時,也讓人們處在網絡安全隱患威脅當中。尤其是隨著計算機技術和網絡技術應用范圍的不斷擴大,網絡安全方面存在的漏洞越來越多。在大數據時代,為了滿足人們從互聯網上快速,便捷地獲取信息的需求但不被惡意應用,反爬蟲系統能夠在網絡安全維護方面起到十分積極的作用。鑒于此,對大數據時代的數據爬取問題進行了分析,并對惡意爬蟲進行了解決。

產品功能

Product Features

Web防護
CC防護
防掃描
一鍵關停
漏洞防護
實時告警

訪問數據獲取

數據獲取是做好反爬蟲系統的關鍵。
采集用戶的訪問數據，用來做爬蟲分析的數據源。
爬蟲封禁

當找到爬蟲后，想辦法去阻斷它后續的訪問。反爬蟲最后的生效，需要靠合理的封禁模式：基于iptables的方案，依賴少，可以通過簡單配置linux就能達到效果。
爬蟲分析

要能精確的分析爬蟲，需要強大的數據分析平臺和規則引擎，來分析這個IP/設備/用戶分別在短時間區間/長時間范圍里的行為特征和軌跡，這里涉及到復雜的數據系統開發。
強化數據源、規則引擎和模型

通過流量獲得全量數據。目前爬蟲等網絡攻擊逐漸轉向業務密切相關的部分，所以需要更多的業務數據去支撐，而不僅僅是訪問日志。考察更多用戶行為的特征。