1、用户行为数据采集平台搭建: `' z: B( l _
2、业务数据采集平台搭建 k# f$ G: S6 V
3、数据仓库维度建模
' Q' N4 ?1 w, r1 ?" b1 Q8 r4、分析,设备、会员、商品、地区、活动等电商核心主题
$ t8 k" _; K$ B/ X5、采用即席查询工具,随时进行指标分析0 z& S; K6 o4 z
6、对集群性能进行监控,发生异常需要报警
/ g/ ~; E# ^! h' M. ^7、元数据管理: ]& y; ]: |% g7 r0 P9 I+ I7 J
8、质量监控( u+ Z ]: `0 x" j9 F9 P
9 H% z5 e( x* J6 B数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,+ n7 A) O4 I# t2 w8 L0 U
数据存储: MySql,HDFS,HBase,Redis,MongoDB
9 W: Q$ L3 \7 r" v数据计算: Hive,Tez,Spark,Flink,Storm
- h$ |; C6 f+ z+ Q% C8 K数据查询: Presto,Kylin ,Impala,Druid5 W3 }7 @0 Q, y j0 D/ z# J3 f, [
数据可视化: Echarts、Superset、QuickBI、DataV
* J1 l2 j* {2 t* X% j V1 g) k" d任务调度: Azkaban、Oozie9 x) W. }7 Y' z
集群监控: Zabbix
1 U. z, E0 G0 t* I! E) @元数据管理: Atlas, d% I0 r6 H. b2 B
' k. [# T' P# p) G本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,6 Q' I9 b5 N+ h8 ~( r
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+' {- T' Z) N) L& f* a/ t0 G
( O4 }2 ?% i6 Z0 d1 V0 o0 p2 L& a7 _+ N3 q- g. o
W. |. f* h8 k/ j" S% _5 v: h. W& c0 ^. N' D7 _) Q6 I
e- @" W! |$ P' e% [" q* m9 C
1 @/ z2 G9 n) g4 q
|