1、用户行为数据采集平台搭建7 e, t1 T8 T# {( _
2、业务数据采集平台搭建
0 k' s$ ]5 _3 j" {2 ?3、数据仓库维度建模
2 y [+ _- V5 R z4、分析,设备、会员、商品、地区、活动等电商核心主题
$ f2 U8 g- B6 Y* a {4 ?5 ~1 m9 Z5、采用即席查询工具,随时进行指标分析0 h$ Y+ D# x2 }, H4 y! G+ x
6、对集群性能进行监控,发生异常需要报警
! {) j7 o! |7 y/ t1 g+ N7、元数据管理
4 _/ L6 l4 Q' j% ^- h8、质量监控
0 ~ i' V5 T! P- l
+ F: g/ c; B# v! S数据采集传输: Flume,Kafka,Sqoop ,Logstash,DataX,
. L' O8 ?- x' _数据存储: MySql,HDFS,HBase,Redis,MongoDB t. m9 _; a m% O1 p3 T. N
数据计算: Hive,Tez,Spark,Flink,Storm, u) C# V' I$ b! k1 [6 q) {
数据查询: Presto,Kylin ,Impala,Druid
) @, I# X8 p V数据可视化: Echarts、Superset、QuickBI、DataV
0 O# J. e ]7 _1 t Z0 X# u任务调度: Azkaban、Oozie& U2 f. e4 a+ p2 ?
集群监控: Zabbix! T# L4 a2 l$ O3 V5 t6 {" V
元数据管理: Atlas: M2 B7 U. j: ]$ a- S8 ?. y4 I
8 j1 V& i6 Y" C) f0 J! k' W本论坛所有资源由10年架构精挑细选,告诉你该学什么,什么值得学,3 _: A# b5 ~ q$ I0 m0 [/ k. T8 X o& N
跟着程序源码论坛的课程学就对了,不再迷茫,技能get999+5 L5 n4 r, I0 }+ U
3 N+ c2 U8 ^" C: E1 E3 E
7 n& v3 ~& b. D6 H( M4 f4 u: ]
: Y8 _8 y5 Z3 G! s1 f/ ~3 K
' E; J* }9 Q# N* `( o9 q p' [$ n# U1 D
! ]9 t6 S2 x( Q+ M# C
|