1、用户行为数据采集平台搭建
% ?. ^( h4 X9 C% y. Y6 D2、业务数据采集平台搭建
6 j- @" Z! v5 ~) K% I1 _7 p3、数据仓库维度建模
7 }7 n6 Y5 ?; G$ j4、分析,设备、会员、商品、地区、活动等电商核心主题1 B' e6 Z+ E' c) k
5、采用即席查询工具,随时进行指标分析
# S$ l' V1 i5 `6 X. O! m6、对集群性能进行监控,发生异常需要报警 b) Z, T3 x" Q$ |- e! X
7、元数据管理
3 t0 q A8 L- W/ R) s# T( t& w; C+ E F8、质量监控 Y9 ~7 e \, B' W
3 S" `' Y( m, a1 C$ M4 S
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,9 R2 v+ w$ k! [' u m/ _
数据存储: MySql,HDFS,HBase,Redis,MongoDB
, @ q7 R/ e/ R( t* K数据计算: Hive,Tez,Spark,Flink,Storm7 x& c5 u$ s9 V: k
数据查询: Presto,Kylin ,Impala,Druid2 h7 e* ?* N$ V) ~. z, T, |$ ?3 p
数据可视化: Echarts、Superset、QuickBI、DataV4 _4 R; g9 \- N9 `2 g/ V0 u# D
任务调度: Azkaban、Oozie Q" |0 e9 G1 T
集群监控: Zabbix+ ^' \1 D. h/ q/ @) ]5 W" B$ y
元数据管理: Atlas, L: F3 _) y9 a7 i) l
+ A& G* r) _( ~- o* p2 o7 D本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,; V( `* l; c3 O) y9 Q
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+
) @# C) P* T& s% Q! |# t& g- B6 W! n0 K% o7 ~1 J M1 H/ B- c
x7 `! C: h0 U! @ w
6 n8 i4 Q" o/ c" a! D" A( @/ D; s5 C& G j$ ^$ |
% @! G; }7 `4 {1 E7 e9 l, G
: c7 K& h1 X# [ |