1、用户行为数据采集平台搭建
2 p) L: J. d5 M; e; c, [2、业务数据采集平台搭建! I5 |; {3 i6 r7 k5 s( X
3、数据仓库维度建模6 r- f! R% e( d3 l
4、分析,设备、会员、商品、地区、活动等电商核心主题
! m5 |, E1 i0 ? j4 r, K6 {: G5、采用即席查询工具,随时进行指标分析
# c: `+ s1 z+ ~7 p) P4 P5 v5 u6、对集群性能进行监控,发生异常需要报警
' d& W. ?6 F) N+ ?" v2 v5 |) Q6 S7、元数据管理8 u. E u. F% k) s# [8 @
8、质量监控
2 d5 S+ f& x4 B8 @& p
! c I2 s+ o4 S- ~数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
E8 L( U, n9 I( y2 M数据存储: MySql,HDFS,HBase,Redis,MongoDB6 \1 ~, }9 S( D# }
数据计算: Hive,Tez,Spark,Flink,Storm2 J$ B/ A5 {: f
数据查询: Presto,Kylin ,Impala,Druid2 c7 M$ |- }' c) ~* K6 c
数据可视化: Echarts、Superset、QuickBI、DataV
( }/ T/ `2 G( O任务调度: Azkaban、Oozie
: s( q, ?% X4 X+ T" H集群监控: Zabbix' Y% [8 a2 C1 @" s0 x
元数据管理: Atlas: i; a: ]' S% B! S0 ^+ t) z
% G# |9 K$ l2 ^0 }2 n本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,% [) D* V# t6 X; G8 J: e+ ^% N
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+ j# E8 r- C: o' w
! ]3 D! t* A- u& g4 _. O
5 y8 U6 N1 p7 N9 T
" c; l! I$ i% d7 R4 h. x
4 v5 I' I! ^- ~ m6 y- R
4 V% \& ~/ v: \0 n
: l% ~7 m+ F: N) \9 A" m! i* y, e, P |