1、用户行为数据采集平台搭建, S+ h, O6 {) L7 m
2、业务数据采集平台搭建
9 f4 i' D1 C) }- w C$ q- x/ W! l. g3、数据仓库维度建模9 N! j% b- E) X5 K
4、分析,设备、会员、商品、地区、活动等电商核心主题
. C. Y' d# p. {% _1 M! x5、采用即席查询工具,随时进行指标分析, g* Q% n3 \1 d/ c8 Z. ?4 }
6、对集群性能进行监控,发生异常需要报警7 T. p1 z# j/ R: A
7、元数据管理
9 Z) v, W6 u: M/ X% ^" I0 Z8 F8、质量监控
. {0 L- i4 z5 m! `# {' r# n8 r% T! ~0 g# O! E5 {
数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
+ F2 `* ]; O( S9 _数据存储: MySql,HDFS,HBase,Redis,MongoDB
$ _+ L' x! h3 `2 Y数据计算: Hive,Tez,Spark,Flink,Storm
/ r: n; j- @. k1 r数据查询: Presto,Kylin ,Impala,Druid- {: @5 q! i( Q" w4 k4 Q3 L, u
数据可视化: Echarts、Superset、QuickBI、DataV# ~6 k1 Z) N0 ^7 k
任务调度: Azkaban、Oozie1 ?9 {8 h9 }6 j/ i6 T1 C
集群监控: Zabbix; v& y. U( z; r% g0 |; _+ o
元数据管理: Atlas- L3 C, J* ^4 B: p( Z5 M
% G8 V: t; U% e }6 Z8 M
本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,1 Q3 Z' ^( ^0 |+ F: T6 `
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+1 S4 f+ G: `& T- n* g0 E
$ f$ s3 g, Z4 {
: j. t0 R1 {* a! u
9 `. z H% ?- ?2 _& s
7 L3 p5 e: P X& p
z2 d9 w* ^3 N( j7 ?8 C
! k! D, U. D* ^2 G9 q |