? ? 大數(shù)據(jù)分析處理的工具

?????? 大數(shù)據(jù)是一種能夠快速獲取各類數(shù)據(jù)中有效且有價(jià)值的信息的技術(shù)?，F(xiàn)在在大數(shù)據(jù)領(lǐng)域有很多新技術(shù)易于操作。它們將是大數(shù)據(jù)收集、處理、存儲(chǔ)和信息展示的最有效工具。

??? 1. 大數(shù)據(jù)接入

? ???? 大數(shù)據(jù)接入

?? 現(xiàn)有數(shù)據(jù)訪問、實(shí)時(shí)數(shù)據(jù)訪問、消息記錄數(shù)據(jù)訪問、文件、文本、圖片、視頻等數(shù)據(jù)訪問.

????? 大數(shù)據(jù)接入技術(shù)

?? Kafka，ActiveMQ，ZeroMQ，F(xiàn)lume，Sqoop，Socket（Mina，Netty），ftp/sftp

?? 2. 大數(shù)據(jù)存儲(chǔ)

???? 大數(shù)據(jù)存儲(chǔ)

?? 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

??? 大數(shù)據(jù)存儲(chǔ)技術(shù)

?? HDFS, HBASE, Hive, S3, Kuduu, MongoDB, Neo 41, Redis, Alluxo (Tachyan), Solr, ElasticSearch

?? 3. 數(shù)據(jù)分析挖掘

? ?? 大數(shù)據(jù)分析與挖掘

??? 離線分析、實(shí)時(shí)分析、準(zhǔn)實(shí)時(shí)分析、圖像識(shí)別、語音識(shí)別、機(jī)器學(xué)習(xí)等

??? 大數(shù)據(jù)分和挖掘技術(shù)

? ? Map reasoning, hive, pig, spark, Flink,Impala,Kylin,tez,Akka,Storm,S4, etc.。

??? 數(shù)據(jù)分析需要多種數(shù)據(jù)庫客戶端工具的組合，如P/L SQL query analyzer Navicat shell和其他客戶端工具。例如，如果使用基于Web的treesoft數(shù)據(jù)庫管理系統(tǒng)，可以很方便地同時(shí)連接mysql Oracle、BD2、SQL server、mongodb、hive和SAP haha。使用基于web的工具的優(yōu)點(diǎn)是：省時(shí)、方便、一次性部署，

?? 4. 大數(shù)據(jù)共享交換

??? 大數(shù)據(jù)共享交換

? ? 數(shù)據(jù)訪問、數(shù)據(jù)清理、轉(zhuǎn)換、解密、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)導(dǎo)出

?? 數(shù)據(jù)存取后，通常存儲(chǔ)在數(shù)據(jù)庫中，便于數(shù)據(jù)分析、清洗、轉(zhuǎn)換、脫敏等處理。這些操作與數(shù)據(jù)可視化客戶端工具密不可分。大量大數(shù)據(jù)需要分批、分任務(wù)、分時(shí)段處理。Treesoft數(shù)據(jù)庫管理系統(tǒng)提供數(shù)據(jù)定時(shí)任務(wù)、管理、數(shù)據(jù)交換同步任務(wù)管理、統(tǒng)一任務(wù)管理、執(zhí)行進(jìn)度顯示、處理日志和視圖等功能，

?? 大數(shù)據(jù)共享交換技術(shù)

?? Kafka,ActiveMQ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp,Rest Ful,

?? Web Service

?? 5.大數(shù)據(jù)的展現(xiàn)

?? 大數(shù)據(jù)的展現(xiàn)

? ? 圖形顯示（柱狀圖、地圖、餅圖、雷達(dá)圖、散點(diǎn)圖、折線圖、K線圖、箱線圖、熱圖、關(guān)系圖、矩形樹形圖、漏斗圖、儀表板、平行坐標(biāo)）；

? ? 大數(shù)據(jù)展現(xiàn)技術(shù)

? ? Echarts， Tabeau，TreeSoft數(shù)據(jù)庫管理系統(tǒng)把SQL查詢結(jié)果直接以圖展示，快速展現(xiàn)分析結(jié)果