當(dāng)前全球已進(jìn)入大數(shù)據(jù)時(shí)代，數(shù)據(jù)量巨大，增長(zhǎng)速度極快，類型豐富，單元價(jià)值極小但規(guī)模價(jià)值很大。據(jù)IDC研究報(bào)告的分析和預(yù)測(cè)，2013全球數(shù)據(jù)總量為4.4ZB，在未來7年會(huì)以40%以上的速度增長(zhǎng)，到2020年數(shù)據(jù)總量大約40ZB。從目前行業(yè)的角度可以看到大數(shù)據(jù)快速發(fā)展已經(jīng)成為各行各業(yè)關(guān)注的重要焦點(diǎn)。
近幾年，國(guó)家高度重視并大力促進(jìn)大數(shù)據(jù)發(fā)展，具體體現(xiàn)在以下幾個(gè)標(biāo)志性事件：
2014年12月，成立的大數(shù)據(jù)標(biāo)準(zhǔn)工作組，我司作為信標(biāo)委成員單位參與了大數(shù)據(jù)標(biāo)準(zhǔn)的編寫；
2015年貴陽數(shù)博會(huì)；
國(guó)務(wù)院51號(hào)文；
大數(shù)據(jù)發(fā)展行動(dòng)綱要的發(fā)布；
2016年初十三五規(guī)劃中的國(guó)家大數(shù)據(jù)戰(zhàn)略；
天融信大數(shù)據(jù)分析系統(tǒng)具有自主知識(shí)產(chǎn)權(quán)。系統(tǒng)提供一套完整的數(shù)據(jù)收集框架，選用成熟的大數(shù)據(jù)存儲(chǔ)架構(gòu)，提供一套可視化的挖掘分析工具，可靈活調(diào)整分析過程，發(fā)現(xiàn)數(shù)據(jù)價(jià)值。在數(shù)據(jù)分析結(jié)果輸出提供一套可視化的展示平臺(tái)，便于管理者獲取分析結(jié)果。
大數(shù)據(jù)分析系統(tǒng)架構(gòu)由多層組成，包括數(shù)據(jù)源、數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)與計(jì)算層、數(shù)據(jù)建模與分析層、展示層。系統(tǒng)的數(shù)據(jù)來源支持網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器、操作系統(tǒng)等。系統(tǒng)提供多種數(shù)據(jù)交換的接口，實(shí)現(xiàn)數(shù)據(jù)的快速匯入，同時(shí)對(duì)匯入的數(shù)據(jù)進(jìn)行去隱私化、歸一化、過濾、歸并等進(jìn)行數(shù)據(jù)的清洗。數(shù)據(jù)存儲(chǔ)與計(jì)算層提供分布式文件存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉庫、分布式數(shù)據(jù)計(jì)算存儲(chǔ)、非關(guān)系數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫等。數(shù)據(jù)建模與分析層是整個(gè)大數(shù)據(jù)分析的核心功能層，主要實(shí)現(xiàn)可視化模型管理、分析模型庫、分析任務(wù)調(diào)度管理、分析數(shù)據(jù)匯入管理等主要功能。展示層提供人機(jī)交互的界面，提供可視化的展示。
模塊化設(shè)計(jì)思想
大數(shù)據(jù)分析系統(tǒng)整個(gè)架構(gòu)包括數(shù)據(jù)采集、存儲(chǔ)、分析、展示四個(gè)方面。各個(gè)模塊之間可以獨(dú)立部署也可以進(jìn)行耦合組合。
海量數(shù)據(jù)處理能力
支持對(duì)PB級(jí)海量數(shù)據(jù)進(jìn)行數(shù)據(jù)匯入、存儲(chǔ)、分析、展示，并進(jìn)行數(shù)據(jù)的關(guān)聯(lián)分析，從多維度深層次挖掘關(guān)聯(lián)安全事件，從中發(fā)現(xiàn)有價(jià)值信息。平臺(tái)采用分布式處理技術(shù)，其數(shù)據(jù)處理能力支持通過橫向擴(kuò)展硬件服務(wù)器而增加。
采用可視化建模技術(shù)
具有可視化建模能力，平臺(tái)已經(jīng)預(yù)置了豐富的可視化建模算子，利用對(duì)算子靈活的拖拽操作，完成數(shù)據(jù)分析場(chǎng)景的構(gòu)建?？梢暬＜夹g(shù)根據(jù)實(shí)際業(yè)務(wù)需求，梳理要處理的數(shù)據(jù)以及選取處理算子，再自由組合算子，生成新模型，能為應(yīng)對(duì)可變性較大數(shù)據(jù)分析業(yè)務(wù)提供極大的便利。可視化建模技術(shù)支持模型的導(dǎo)入、導(dǎo)出，能重復(fù)利用已有的模型經(jīng)驗(yàn)。平臺(tái)通過算子庫預(yù)置豐富基本算子，包括輸入算子、字段處理算子、記錄處理算子、數(shù)據(jù)集處理算子等。
采用集成化展示技術(shù)
為用戶提供綜合性且靈活可變的分析展示視圖。必須支持對(duì)儀表進(jìn)行管理，支持多儀表組、支持儀表組增刪、支持儀表組中增刪儀表盤。支持多屏顯示、支持對(duì)儀表增刪拖拽移動(dòng)、支持儀表數(shù)據(jù)源和展示屬性配置、支持儀表盤展示結(jié)果生成報(bào)表、支持儀表盤自動(dòng)刷新。支持統(tǒng)計(jì)型圖表包括餅狀圖、環(huán)形圖、柱狀圖、橫條圖、線形圖、面積圖、熱點(diǎn)圖、散點(diǎn)圖等，支持關(guān)系型圖表包括樹形圖、力導(dǎo)向圖、群絡(luò)圖、視網(wǎng)膜圖等。
提供開放的情報(bào)共享機(jī)制
大數(shù)據(jù)分析系統(tǒng)庫包括：漏洞、惡意IP、惡意域名等。態(tài)勢(shì)感知系統(tǒng)通過天融信安全團(tuán)隊(duì)和系統(tǒng)使用發(fā)現(xiàn)的情報(bào)數(shù)據(jù)。情報(bào)數(shù)據(jù)也支持第三方機(jī)構(gòu)的數(shù)據(jù)。所以整個(gè)態(tài)勢(shì)感知系統(tǒng)實(shí)現(xiàn)情報(bào)來源擴(kuò)展和情報(bào)內(nèi)容的擴(kuò)展。
網(wǎng)絡(luò)安全態(tài)勢(shì)分析
通過大數(shù)據(jù)分析平臺(tái)對(duì)客戶單位的網(wǎng)絡(luò)的安全防護(hù)體系進(jìn)行梳理，收集安全數(shù)據(jù)，通過多維的數(shù)據(jù)分析，統(tǒng)計(jì)各項(xiàng)態(tài)勢(shì)指標(biāo)結(jié)果，最終呈現(xiàn)客戶單位的安全態(tài)勢(shì)。
網(wǎng)絡(luò)安全問題發(fā)現(xiàn)
通過大數(shù)據(jù)分析平臺(tái)收集客戶單位的安全問題分析有價(jià)值的數(shù)據(jù)，進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘分析，發(fā)現(xiàn)客戶單位各種潛在的安全問題。
業(yè)務(wù)數(shù)據(jù)價(jià)值挖掘
通過大數(shù)據(jù)分析分析平臺(tái)收集客戶單位海量的業(yè)務(wù)數(shù)據(jù)，根據(jù)業(yè)務(wù)數(shù)據(jù)范圍和特點(diǎn)建立挖掘模型，挖掘?qū)ζ髽I(yè)有決策價(jià)值的數(shù)據(jù)。
