1、用户行为数据采集平台搭建
$ h0 x; o2 {1 l4 Z2、业务数据采集平台搭建
7 ~ m7 s: h& r3、数据仓库维度建模
- y! s' X! c5 J* \7 R, O' S4、分析,设备、会员、商品、地区、活动等电商核心主题# d& x4 |1 E# z. M" ]: |7 y# O
5、采用即席查询工具,随时进行指标分析+ Y0 U) C9 _, k7 @+ m& h# k. D
6、对集群性能进行监控,发生异常需要报警
' _% V8 Q4 F! R% s' ^7、元数据管理8 `2 @" q8 ]; Q- P
8、质量监控+ j7 f2 m* r# H( r
5 I' v# u" \: \: q3 ?数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,9 y" Q1 w1 f- Z( ~: O* ]3 M
数据存储: MySql,HDFS,HBase,Redis,MongoDB5 a# O) D1 Q7 b/ [) S
数据计算: Hive,Tez,Spark,Flink,Storm
5 J( [3 V4 S) h. L6 c数据查询: Presto,Kylin ,Impala,Druid4 I' u, j$ C) h- _$ X0 V
数据可视化: Echarts、Superset、QuickBI、DataV
o! \: C. n& Y+ @% a任务调度: Azkaban、Oozie
3 N6 N+ q- }: C9 M$ H6 ^集群监控: Zabbix
- J8 Y+ Z; @) u3 e" f9 n+ h2 a元数据管理: Atlas& y& [7 _4 |6 w/ _' e6 A, }
, K# z( C* j. i本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,
( S! B5 e# E- {跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+
' q5 o' f' p" U) N3 I9 j! U: c
% Q& H+ l0 C, h
8 p; x4 w' y; Z# Q) c
. q( a N7 l" F# C4 ~1 |
. R9 f! e- P5 h9 S, t, Y
! O9 {. P% N4 H/ x& Y
" x0 P) i. Q. j* r5 c |