1.内存优化& x6 G8 D4 Q, Z
2小文件过多问题6 M/ s+ F$ s2 ?+ ?, ] I1 E
3.spark sql合理利用cpu资源
. ^4 \( D% J; C; @6 h- W4.spark sql广播join) s+ n& L' C( v0 z$ z
5.提高并行度解决数据倾斜错误演示
' L' l% }6 ^" g- P+ C4 W4 e- J6.解决数据倾斜打散大表扩容小表6 p+ P$ s# U* \
7.大表join大表优化SMBJoin) p/ ^3 a, I2 f" K# G
8.使用堆外内存
) @$ o3 {$ `8 O2 A: F& B; j; m9.spark 3.0AQE动态缩小分区
# |7 K3 X& ^" f6 C7 m$ q9 y10.spark 3.0AQE动态选择join策略
: A0 ^6 A7 t# A5 U' C" n11 spark3.0AQE动态优化倾斜join# E& o: h6 {3 V
12 sparak3.0 dpp动态分区修剪) C: k8 [, d7 }3 E7 t0 B' C2 a
z. a8 ~5 I F5 \8 B本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！( b' ^3 P9 e2 C& N; f1 v
% H8 u9 l: z' I" R
% Y9 f- S4 m! Z$ g, d! T
8 T, I ~0 l" K: @: A1 w- |( ]* S& e
|
/1 
