1、用户行为数据采集平台搭建. l9 e& z8 [# I. D) H7 S
2、业务数据采集平台搭建
% r2 x2 y) I Z& k! W3、数据仓库维度建模
9 }7 _" z& F% H, b: v4、分析,设备、会员、商品、地区、活动等电商核心主题/ L- {& P& f, w% J4 V
5、采用即席查询工具,随时进行指标分析
2 c0 l+ G) ?' i' W6、对集群性能进行监控,发生异常需要报警" k" U/ m; S8 r0 e3 Z' d
7、元数据管理
o$ q5 c. l. N8、质量监控
' k X' [' J5 a0 g: i' t( M
4 s+ k* t+ e( a数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,' G7 z5 D( c: E) P
数据存储: MySql,HDFS,HBase,Redis,MongoDB# u, A; `9 t1 F" `$ x
数据计算: Hive,Tez,Spark,Flink,Storm+ K6 |" J; }2 m( B2 o. Z0 `8 B
数据查询: Presto,Kylin ,Impala,Druid
3 N) T6 t p! P9 t! \9 N数据可视化: Echarts、Superset、QuickBI、DataV, x* w* W* m' H0 n# H% `4 b- k5 q
任务调度: Azkaban、Oozie/ Y. p7 `2 H9 B! E; }
集群监控: Zabbix* t$ e( g4 U( O1 \, p
元数据管理: Atlas8 {3 M% z+ x) z6 N
a. [ [ s, E- {2 K3 y1 x+ Z
本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,! [2 z8 r0 S8 c! U; E5 L! o/ j
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+1 Z) h# |; K/ L. a
3 D7 z7 L- P! @( u- T, ]9 v/ H9 [8 l8 W$ c- i# @ w* M
+ Q, o1 k p; J. D3 i8 y. k4 W8 a8 U+ J1 P' Q
6 A1 X* ]) W9 j: @0 f
* ]; R( k/ l2 w |