1、用户行为数据采集平台搭建
9 g+ J' y/ ?; N+ m4 ^# T/ p2、业务数据采集平台搭建, @: X, l+ H Y: p' ?8 ]
3、数据仓库维度建模. W) V8 P% {/ x2 K/ Q+ m
4、分析,设备、会员、商品、地区、活动等电商核心主题
0 A- w; n/ [7 _& A; E5、采用即席查询工具,随时进行指标分析
) c$ V2 A3 x7 | Z6、对集群性能进行监控,发生异常需要报警3 W& D+ b# f q; R8 c
7、元数据管理& u/ |/ U/ L9 ?8 x/ k3 x i. I
8、质量监控" I7 ~& v9 Y/ S+ {' n) c
. L- R- r' x3 L& v5 L k4 Z( G- A/ P
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
2 u/ q' z) Z; \6 u" H+ q2 y4 s数据存储: MySql,HDFS,HBase,Redis,MongoDB
9 z6 _7 j5 }& V5 ?# K+ K数据计算: Hive,Tez,Spark,Flink,Storm
! c5 ^9 u' a+ W) |2 k. w数据查询: Presto,Kylin ,Impala,Druid
! a( \. j7 K2 |7 L数据可视化: Echarts、Superset、QuickBI、DataV1 X) A9 y f8 G8 P
任务调度: Azkaban、Oozie
1 C5 n4 B5 y5 f( t: c3 M4 k* s# n集群监控: Zabbix. U0 T2 {8 _, b2 x
元数据管理: Atlas9 e. }% i8 @; l o4 \5 x; w
: s4 g! M' v3 q) X( ~
本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,
6 x5 \1 M! M6 @ _( c' o跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+0 t1 ]4 x7 U2 U# A$ n$ y
( Z( ^$ l& O8 X% x8 g) e
T5 i3 X8 s& h- j
) e0 I- _& ]; g- G( G
# F1 S7 ~" |, j9 p) }2 U2 Q! n- I1 k; G9 q
% k( q3 @# O$ T m- g |