1.内存优化" d- g* i5 v0 \" Z; t
2小文件过多问题
$ M( B6 Y" g/ V- h" j1 V3.spark sql合理利用cpu资源
$ P* l, _3 |" T7 J, Q. V4.spark sql广播join- D! b( s0 Q' r1 a$ n& U
5.提高并行度解决数据倾斜错误演示+ P/ O" Q+ ]) o9 `7 t/ M" @
6.解决数据倾斜打散大表扩容小表' z W F( f* z u+ ?" h3 N, d
7.大表join大表优化SMBJoin" U. ~" d* q8 ]$ \) Z, N6 T% q L
8.使用堆外内存% }: B3 o( v( y
9.spark 3.0AQE动态缩小分区
: V! t: n0 y1 w I+ w/ N. C: S6 S10.spark 3.0AQE动态选择join策略! d& b j7 s/ V' l
11 spark3.0AQE动态优化倾斜join
0 a, m5 k9 S/ h; e12 sparak3.0 dpp动态分区修剪/ W+ l4 ~2 S6 k1 ]
* y" F8 V; A% I' B7 F$ y0 F s本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！, S+ e- s" [% A% E* z8 C6 [/ C" }
) ~ S0 e9 x8 B* r
! \9 r' h+ a3 {3 I* P
9 q) I A& h& v5 k& d' ]) P( E" A& |, ^) N0 _
|
/1 
