1.内存优化( k% z+ D# Q! O
2小文件过多问题! r% k* b7 Y1 W/ L2 I9 \
3.spark sql合理利用cpu资源
5 V' m0 A& d8 \! o; q4.spark sql广播join3 `9 W( {: @* {9 v6 l( X
5.提高并行度解决数据倾斜错误演示
9 T% I! r0 M$ L6.解决数据倾斜打散大表扩容小表: m( M1 J9 @2 y! p# j
7.大表join大表优化SMBJoin
/ i: P6 m6 a: d& C8 w8.使用堆外内存
$ {8 u+ D% |: {" x/ }1 p9.spark 3.0AQE动态缩小分区
4 P" z t( F$ I6 _1 r3 K6 M$ } T3 H10.spark 3.0AQE动态选择join策略
/ F% r2 w2 v; y! y* P: `1 c: E11 spark3.0AQE动态优化倾斜join4 H2 K- ^( J; O9 V, d4 [$ v
12 sparak3.0 dpp动态分区修剪
% N) t4 l; U- Y0 D; `* f, F' {3 i( [, w0 k8 _) ?) p1 C
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!5 e% ^" P6 c# c% |& T% V
( C. n5 o0 M7 I6 V0 _6 I M
" R& ~% Z' |6 X# M/ {: W+ T
7 r6 }. Q( @3 V K5 L
1 w6 l; q3 L8 ]1 h |