1、用户行为数据采集平台搭建 L2 {% s% R! f7 p3 y
2、业务数据采集平台搭建5 g+ V1 e/ O" f
3、数据仓库维度建模6 W2 Q0 K' g2 d: P
4、分析,设备、会员、商品、地区、活动等电商核心主题1 O" }0 t5 _: R. h6 m, P) y5 H
5、采用即席查询工具,随时进行指标分析
' Q8 d# Z& k% `6、对集群性能进行监控,发生异常需要报警
* k: B/ d h% P* F* W7、元数据管理
, q/ A, c n8 @4 D% g8、质量监控: t, ?2 u! z4 S: E( `8 X
: X2 \! x" x4 e) ]. J3 _
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
1 Y* G2 s* ~% w ^6 T% ~) L" ^. i数据存储: MySql,HDFS,HBase,Redis,MongoDB/ r0 v0 C7 g/ c( u3 _
数据计算: Hive,Tez,Spark,Flink,Storm7 E" |$ O& p; A7 s. a
数据查询: Presto,Kylin ,Impala,Druid
; J& u( s* d; ]9 P6 p9 Y+ b数据可视化: Echarts、Superset、QuickBI、DataV! D1 u W, B1 S
任务调度: Azkaban、Oozie! n+ F& F$ v5 H" _% F4 E, l+ O
集群监控: Zabbix. }, [4 e Y, W3 T- a& Q
元数据管理: Atlas' L/ U( H4 H* c1 c. J4 ^2 c
2 ?* j4 `. U3 F: z' F' a本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,0 J3 U6 S( N4 i
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+
0 f4 Q8 B* a6 T) r- ~" ?+ H8 i- B/ D0 I; g
) s9 X2 Z* \5 I6 _
! E5 U0 u& _3 E3 p& x9 [/ R3 K+ W
+ A' q/ M7 h/ e8 k6 t: k, C) d
+ n6 J- T+ a- @/ e# o0 s- z# ?+ X# N* W9 M3 B9 D4 A/ Q+ b
|