1、用户行为数据采集平台搭建2 O, L s# W' Y* W. a
2、业务数据采集平台搭建
- A- q! a3 ?7 _2 F( H& U! T3、数据仓库维度建模. j# D+ u! ~% [+ _1 ~9 j2 k
4、分析,设备、会员、商品、地区、活动等电商核心主题& @) a% J& h! G% y! i
5、采用即席查询工具,随时进行指标分析, b% Z: h5 [- o4 l0 x. c$ _& M
6、对集群性能进行监控,发生异常需要报警 W% C r# k6 ?6 T7 K. G. @
7、元数据管理1 I$ \! ]: i$ f0 F8 E1 {6 b
8、质量监控# M q* l! h! {3 [6 W8 k; u& Z
4 z v' U; j9 W
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,! c( M5 z: N$ c. {% D4 h9 P! e( q
数据存储: MySql,HDFS,HBase,Redis,MongoDB
+ }& H/ W$ {: g( C9 {( l3 |数据计算: Hive,Tez,Spark,Flink,Storm
# F1 N* N: x9 z6 E( h数据查询: Presto,Kylin ,Impala,Druid( }6 u0 k% [" [
数据可视化: Echarts、Superset、QuickBI、DataV: t1 y0 N+ B, g9 H' `& }. |, r
任务调度: Azkaban、Oozie
) ?) r+ B5 h6 t( P; j! {5 A" y集群监控: Zabbix: x N: e& d0 M
元数据管理: Atlas
$ a2 {9 I: [7 }- H4 O. C; S7 ]
7 d) G1 _/ X- V本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,
( M% g/ D4 ], J4 b! ^3 l跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+
& ?5 ?4 W' z( r" h+ Q2 |4 f/ \9 |+ b* Y4 f1 k
' O; d; J, ^. G1 v
4 }0 S. r7 ]- @; x3 s8 s5 }- p- u; C' U9 h7 H6 e$ Z& t0 B
6 \1 Z- S; ~3 ?: g
% j$ t- j1 C- ?+ w$ e9 g; ? |