1.内存优化. A9 w3 U8 T6 `- x3 s: l1 [" y4 N* L
2小文件过多问题/ |! D8 V& Q0 C! d/ l% p9 z
3.spark sql合理利用cpu资源7 @# V% |, ?) ]( D
4.spark sql广播join
% p! l) E) h" J5.提高并行度解决数据倾斜错误演示 B5 b8 y' k0 {- V: x' K. e
6.解决数据倾斜打散大表扩容小表$ }) H1 f$ K! n0 }- ^ [
7.大表join大表优化SMBJoin
) A. N: v d ^ J' E2 ^* a8.使用堆外内存
k$ I/ a$ I& ^9.spark 3.0AQE动态缩小分区$ S! |. O: X2 z2 k* j. U/ v$ F) _1 i2 \
10.spark 3.0AQE动态选择join策略
4 X1 y7 W2 v3 `' h- @( M11 spark3.0AQE动态优化倾斜join
6 ^' I0 c5 z* U- Z4 u12 sparak3.0 dpp动态分区修剪$ S: f1 z; ]) {% Y( ]
4 Y+ r4 _" }. T+ J9 L% L本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
) R+ Z$ g0 K; o) Y2 f2 W: L4 Q" k7 d/ ~* ^8 n
4 N M: j) v& K% o" R
+ Y4 S& h; C. |9 ~/ d- [( M/ {4 ~
|