1、用户行为数据采集平台搭建
9 H6 x" G5 u6 }9 B2、业务数据采集平台搭建
( R0 ^$ X5 U, h3、数据仓库维度建模3 E# V6 J3 R6 m w+ T5 ], X. f
4、分析,设备、会员、商品、地区、活动等电商核心主题1 s( D8 L# x, s) P
5、采用即席查询工具,随时进行指标分析
* l1 u5 T0 @5 A6 p6、对集群性能进行监控,发生异常需要报警
7 X$ Y0 d: A9 @7、元数据管理
6 Y5 A6 W) e- C4 i8、质量监控; n3 `& S9 u0 `+ e& i P
. `. ~( ]; P+ U) } {' J# Y C. h3 x数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
p9 E' W: @% Z1 \6 M数据存储: MySql,HDFS,HBase,Redis,MongoDB( _+ ~0 F" g2 B' X0 Z2 B9 H3 d
数据计算: Hive,Tez,Spark,Flink,Storm& A1 U9 s' v# N1 s1 ^/ c0 [
数据查询: Presto,Kylin ,Impala,Druid
3 }2 }4 w! M# W! {数据可视化: Echarts、Superset、QuickBI、DataV
2 l, I S. }+ Q) J任务调度: Azkaban、Oozie3 D: L2 t b' U' P. q+ c; ^% f
集群监控: Zabbix9 B: M# R7 E5 W/ i: ^9 }+ p, |9 `7 Z
元数据管理: Atlas6 O) Y% y" [% _6 X2 n+ v% \+ w! o Q
" l5 s C: m3 I% ]
本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,8 I, s. O$ C% N
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+( g/ F8 S$ i, R: R6 O; k$ n! A$ q" W
: s5 k( \' L* s8 u' `/ w J2 C, c7 O+ n5 R2 I3 z6 {7 l
& }. K# @4 y! }5 X( T7 W3 D
; A2 g# s5 w" j% D: n( b8 m+ ~" |$ C
2 V) p0 \+ O7 z$ @ P
+ B1 [3 L6 Z, Q |