當(dāng)前全球已進(jìn)入大數(shù)據(jù)時(shí)代,數(shù)據(jù)量巨大,增長速度極快,類型豐富,單元價(jià)值極小但規(guī)模價(jià)值很大。據(jù)IDC研究報(bào)告的分析和預(yù)測,2013全球數(shù)據(jù)總量為4.4ZB,在未來7年會(huì)以40%以上的速度增長,到2020年數(shù)據(jù)總量大約40ZB。從目前行業(yè)的角度可以看到大數(shù)據(jù)快速發(fā)展已經(jīng)成為各行各業(yè)關(guān)注的重要焦點(diǎn)。
當(dāng)前全球已進(jìn)入大數(shù)據(jù)時(shí)代,數(shù)據(jù)量巨大,增長速度極快,類型豐富,單元價(jià)值極小但規(guī)模價(jià)值很大。據(jù)IDC研究報(bào)告的分析和預(yù)測,2013全球數(shù)據(jù)總量為4.4ZB,在未來7年會(huì)以40%以上的速度增長,到2020年數(shù)據(jù)總量大約40ZB。從目前行業(yè)的角度可以看到大數(shù)據(jù)快速發(fā)展已經(jīng)成為各行各業(yè)關(guān)注的重要焦點(diǎn)。
近幾年,國家高度重視并大力促進(jìn)大數(shù)據(jù)發(fā)展,具體體現(xiàn)在以下幾個(gè)標(biāo)志性事件:
2014年12月,成立的大數(shù)據(jù)標(biāo)準(zhǔn)工作組,我司作為信標(biāo)委成員單位參與了大數(shù)據(jù)標(biāo)準(zhǔn)的編寫;
2015年貴陽數(shù)博會(huì);
國務(wù)院51號(hào)文;
大數(shù)據(jù)發(fā)展行動(dòng)綱要的發(fā)布;
2016年初十三五規(guī)劃中的國家大數(shù)據(jù)戰(zhàn)略;
天融信大數(shù)據(jù)分析系統(tǒng)具有自主知識(shí)產(chǎn)權(quán)。系統(tǒng)提供一套完整的數(shù)據(jù)收集框架,選用成熟的大數(shù)據(jù)存儲(chǔ)架構(gòu),提供一套可視化的挖掘分析工具,可靈活調(diào)整分析過程,發(fā)現(xiàn)數(shù)據(jù)價(jià)值。在數(shù)據(jù)分析結(jié)果輸出提供一套可視化的展示平臺(tái),便于管理者獲取分析結(jié)果。
大數(shù)據(jù)分析系統(tǒng)架構(gòu)由多層組成,包括數(shù)據(jù)源、數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)與計(jì)算層、數(shù)據(jù)建模與分析層、展示層。系統(tǒng)的數(shù)據(jù)來源支持網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器、操作系統(tǒng)等。系統(tǒng)提供多種數(shù)據(jù)交換的接口,實(shí)現(xiàn)數(shù)據(jù)的快速匯入,同時(shí)對匯入的數(shù)據(jù)進(jìn)行去隱私化、歸一化、過濾、歸并等進(jìn)行數(shù)據(jù)的清洗。數(shù)據(jù)存儲(chǔ)與計(jì)算層提供分布式文件存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉庫、分布式數(shù)據(jù)計(jì)算存儲(chǔ)、非關(guān)系數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫等。數(shù)據(jù)建模與分析層是整個(gè)大數(shù)據(jù)分析的核心功能層,主要實(shí)現(xiàn)可視化模型管理、分析模型庫、分析任務(wù)調(diào)度管理、分析數(shù)據(jù)匯入管理等主要功能。展示層提供人機(jī)交互的界面,提供可視化的展示。
模塊化設(shè)計(jì)思想
大數(shù)據(jù)分析系統(tǒng)整個(gè)架構(gòu)包括數(shù)據(jù)采集、存儲(chǔ)、分析、展示四個(gè)方面。各個(gè)模塊之間可以獨(dú)立部署也可以進(jìn)行耦合組合。
海量數(shù)據(jù)處理能力
支持對PB級(jí)海量數(shù)據(jù)進(jìn)行數(shù)據(jù)匯入、存儲(chǔ)、分析、展示,并進(jìn)行數(shù)據(jù)的關(guān)聯(lián)分析,從多維度深層次挖掘關(guān)聯(lián)安全事件,從中發(fā)現(xiàn)有價(jià)值信息。平臺(tái)采用分布式處理技術(shù),其數(shù)據(jù)處理能力支持通過橫向擴(kuò)展硬件服務(wù)器而增加。
采用可視化建模技術(shù)
具有可視化建模能力,平臺(tái)已經(jīng)預(yù)置了豐富的可視化建模算子,利用對算子靈活的拖拽操作,完成數(shù)據(jù)分析場景的構(gòu)建??梢暬<夹g(shù)根據(jù)實(shí)際業(yè)務(wù)需求,梳理要處理的數(shù)據(jù)以及選取處理算子,再自由組合算子,生成新模型,能為應(yīng)對可變性較大數(shù)據(jù)分析業(yè)務(wù)提供極大的便利??梢暬<夹g(shù)支持模型的導(dǎo)入、導(dǎo)出,能重復(fù)利用已有的模型經(jīng)驗(yàn)。平臺(tái)通過算子庫預(yù)置豐富基本算子,包括輸入算子、字段處理算子、記錄處理算子、數(shù)據(jù)集處理算子等。
采用集成化展示技術(shù)
為用戶提供綜合性且靈活可變的分析展示視圖。必須支持對儀表進(jìn)行管理,支持多儀表組、支持儀表組增刪、支持儀表組中增刪儀表盤。支持多屏顯示、支持對儀表增刪拖拽移動(dòng)、支持儀表數(shù)據(jù)源和展示屬性配置、支持儀表盤展示結(jié)果生成報(bào)表、支持儀表盤自動(dòng)刷新。支持統(tǒng)計(jì)型圖表包括餅狀圖、環(huán)形圖、柱狀圖、橫條圖、線形圖、面積圖、熱點(diǎn)圖、散點(diǎn)圖等,支持關(guān)系型圖表包括樹形圖、力導(dǎo)向圖、群絡(luò)圖、視網(wǎng)膜圖等。
提供開放的情報(bào)共享機(jī)制
大數(shù)據(jù)分析系統(tǒng)庫包括:漏洞、惡意IP、惡意域名等。態(tài)勢感知系統(tǒng)通過天融信安全團(tuán)隊(duì)和系統(tǒng)使用發(fā)現(xiàn)的情報(bào)數(shù)據(jù)。情報(bào)數(shù)據(jù)也支持第三方機(jī)構(gòu)的數(shù)據(jù)。所以整個(gè)態(tài)勢感知系統(tǒng)實(shí)現(xiàn)情報(bào)來源擴(kuò)展和情報(bào)內(nèi)容的擴(kuò)展。
網(wǎng)絡(luò)安全態(tài)勢分析
通過大數(shù)據(jù)分析平臺(tái)對客戶單位的網(wǎng)絡(luò)的安全防護(hù)體系進(jìn)行梳理,收集安全數(shù)據(jù),通過多維的數(shù)據(jù)分析,統(tǒng)計(jì)各項(xiàng)態(tài)勢指標(biāo)結(jié)果,最終呈現(xiàn)客戶單位的安全態(tài)勢。
網(wǎng)絡(luò)安全問題發(fā)現(xiàn)
通過大數(shù)據(jù)分析平臺(tái)收集客戶單位的安全問題分析有價(jià)值的數(shù)據(jù),進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘分析,發(fā)現(xiàn)客戶單位各種潛在的安全問題。
業(yè)務(wù)數(shù)據(jù)價(jià)值挖掘
通過大數(shù)據(jù)分析分析平臺(tái)收集客戶單位海量的業(yè)務(wù)數(shù)據(jù),根據(jù)業(yè)務(wù)數(shù)據(jù)范圍和特點(diǎn)建立挖掘模型,挖掘?qū)ζ髽I(yè)有決策價(jià)值的數(shù)據(jù)。