1.内存优化3 ~4 t7 W7 z- E
2小文件过多问题$ W2 o$ O7 }' ^3 K: G" M5 g6 P/ A; ~
3.spark sql合理利用cpu资源
! J8 ^) Y3 j3 N8 N' ~7 G4.spark sql广播join6 Y( R; b9 K' W" p0 H& i& ]) P
5.提高并行度解决数据倾斜错误演示* _- Z6 z: k ]& b
6.解决数据倾斜打散大表扩容小表
2 V6 p6 _+ }& N8 Q1 @: \5 o" n7.大表join大表优化SMBJoin. S; E4 T/ N7 s
8.使用堆外内存
% n/ f- H" l8 [9 s4 ?$ \9.spark 3.0AQE动态缩小分区
1 M6 s% w$ ?$ u, U6 b10.spark 3.0AQE动态选择join策略
2 G9 y1 c. _! a11 spark3.0AQE动态优化倾斜join* i* w4 o6 ], d5 v, z1 F3 j0 ?
12 sparak3.0 dpp动态分区修剪! |6 L9 e1 w4 X( Y- d" I
3 A# {( q' t& a' L' L* z! D; Q
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！/ j+ G& w3 _4 ]8 H Z6 M
+ J. e1 a' ^% R
9 z5 K% a4 B! v5 E
2 U8 V$ @; y) [, D0 h0 m+ m! Q1 j! u4 d. e
|
/1 
