數據采集系統

系統簡介

數據采集系統是基于大數據、云計算和網絡爬蟲技術的海量數據采集工具，多用于公安網頁數據采集、系統日志采集、公安內部數據采集和社會化數據采集，數據采集系統采用分布式架構，適應離線批量采集和在線實時采集，能滿足每秒數百兆日志數據采集和傳輸需求。數據采集系統可以采集結構化數據，也可以將非結構化數據從網頁中或一般文件中抽取出來，將其存儲為統一的本地數據文件，并以結構化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關聯。