1、用户行为数据采集平台搭建
& o9 W* q5 [- M; s2、业务数据采集平台搭建
8 p7 }! S- Q" x2 C; |3、数据仓库维度建模
; t& z5 e k F# f( W$ S4、分析,设备、会员、商品、地区、活动等电商核心主题& {/ C, ^5 f4 ^
5、采用即席查询工具,随时进行指标分析
4 a- _- F& |3 v" g6 g6、对集群性能进行监控,发生异常需要报警& _- C! d$ [* P0 V5 c7 Q0 n
7、元数据管理5 b9 u, b0 w$ S. X% C+ R! i2 w
8、质量监控4 u2 K, _) F, ]5 k, z Z0 M& y
) K& f& K) t- q1 b
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
# u" e+ O) _. o9 ]" w0 ] I: r数据存储: MySql,HDFS,HBase,Redis,MongoDB! `5 N9 M; B# k! \
数据计算: Hive,Tez,Spark,Flink,Storm2 u/ e& s" w! k7 _
数据查询: Presto,Kylin ,Impala,Druid
8 B. ^7 O$ b3 z3 h3 l1 J3 e6 L数据可视化: Echarts、Superset、QuickBI、DataV. h9 K+ g& Z) {; x
任务调度: Azkaban、Oozie
4 @* ]! @1 R+ [- S I集群监控: Zabbix
! l( C8 [8 d2 s, a+ k; `+ c; {元数据管理: Atlas
) c) l. A2 Z1 b; k
$ t& |3 [* j9 k- R本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,% V/ c7 s/ M* j y$ ^! q
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999++ X6 Y$ v5 z' {) e9 \& f
+ \' a5 K, _ y5 V4 ~) I
& S$ D* t9 }# ^3 ^0 j. K, X4 J* A
' m; k5 V: F) h2 p7 Y9 a. X
9 f4 S, P; a, h2 d2 `( y6 b3 ^: p( Z" K" I8 f* @3 m; ]9 F K
. q! q4 B" h) j. b& M
|