1、用户行为数据采集平台搭建5 K; N1 t H- m6 \( Y- i, [) z
2、业务数据采集平台搭建
0 P) f( v! U+ [4 ~+ o! N e9 j3、数据仓库维度建模
. N7 t& O' @/ T$ P Z1 h4、分析,设备、会员、商品、地区、活动等电商核心主题 a, a6 {8 R" o9 M" y
5、采用即席查询工具,随时进行指标分析+ T. b* O2 Z* H
6、对集群性能进行监控,发生异常需要报警1 o! x! z/ f8 z( A1 x
7、元数据管理
7 T: L$ Z Y8 n- q. B* t8、质量监控+ C$ O) V# s; K! b# g' y- s( |
1 V# I& P9 _' E数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
, F1 S+ P. C" M W8 l0 _2 Y数据存储: MySql,HDFS,HBase,Redis,MongoDB* z* @1 y/ F( d% l9 I7 _5 Y& Y
数据计算: Hive,Tez,Spark,Flink,Storm
1 O9 Q4 i0 |- ?数据查询: Presto,Kylin ,Impala,Druid& T/ B% B, A2 P! G( c
数据可视化: Echarts、Superset、QuickBI、DataV' f( ?9 K# K: ^4 d- j
任务调度: Azkaban、Oozie- J7 R; }6 y4 |% P! A2 I6 i
集群监控: Zabbix5 R5 Z; C4 ?: W1 X9 u8 q: r
元数据管理: Atlas5 j6 |* H1 {) V3 N& h
' G! b& N( W+ _! }& B本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,
7 X. \* a: t# m+ E8 C" r; i跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+; H+ h$ _& W! y+ U9 @! m5 E; F2 E9 a# _
" ~% ^5 s8 Y; T7 q8 s% }
1 `0 C" |: a1 d+ J- l0 D
. r/ Z& q& l, a
+ |) t7 Y# a$ g! e- D; b
2 [$ J2 ?( v+ I0 E h: x x+ l
3 D6 ]5 j: G) x5 t/ ]8 |" v5 r9 Y |