1.内存优化% r; `; d6 E# c4 @- L. h2 U* i. s
2小文件过多问题
8 B$ W7 D# q3 c0 y1 ^3.spark sql合理利用cpu资源% L5 P- D! c1 [2 {4 U: b/ P
4.spark sql广播join8 ^+ r. ]* S, R8 h& I: O! z: a S
5.提高并行度解决数据倾斜错误演示* [3 Y( j9 i7 [" M8 J5 D( t
6.解决数据倾斜打散大表扩容小表. P2 x2 O7 Y4 ? i
7.大表join大表优化SMBJoin# o$ a5 m, q7 a% }4 z% @
8.使用堆外内存4 u1 m1 d/ z3 C0 P
9.spark 3.0AQE动态缩小分区# ]* G# Y# @4 O1 v0 l
10.spark 3.0AQE动态选择join策略! e' }( _- D! i# w
11 spark3.0AQE动态优化倾斜join
! |: b7 {/ A7 D. D! x: N* n( }, D12 sparak3.0 dpp动态分区修剪; {; x0 U6 S; Y+ R) d
( y$ b& l6 Q" A8 m' s: E本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!& a; ]6 z/ v, v n- B# s. _9 a
% g0 G& g9 A" \, c0 T" |
1 `" f7 e/ [- v$ h) j3 F) B$ j! }9 E- [
7 h- A9 R1 @ o0 }6 x* X
5 ?* p: p! [! v' p3 w0 o |