1.内存优化# Q4 ?# K1 C* p
2小文件过多问题
# P) T9 m, _2 K8 R* }+ j: i3.spark sql合理利用cpu资源/ s6 z# U8 n! u1 t9 u# T
4.spark sql广播join/ X H( U E/ e4 ]
5.提高并行度解决数据倾斜错误演示0 H+ H2 I' P x' l
6.解决数据倾斜打散大表扩容小表' C1 P$ \# `& c7 u/ m
7.大表join大表优化SMBJoin! S. g r) ^) `$ t
8.使用堆外内存
& {- ]) T4 k5 _7 c6 T$ ~8 l9.spark 3.0AQE动态缩小分区; o0 {! ^/ J' H# _4 {4 t h
10.spark 3.0AQE动态选择join策略- N! o- g) V6 s: G# \1 a* o# Z
11 spark3.0AQE动态优化倾斜join* Y8 C$ C6 _) v9 j5 t( y
12 sparak3.0 dpp动态分区修剪1 M% F2 T) g' A2 H
/ d% m8 B+ x( @6 J2 H
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！+ n+ ^5 C2 r- Z0 g" N
4 A" @3 W1 H2 G. l: q4 _
) g/ Q) T' x: P8 y8 R W. W2 H; g
_4 a3 c3 V: q3 H' R( H
0 l/ Y& r' B, \: U' j% Q3 c w |
/1 
