1.内存优化
6 n" p; J/ d2 M" N( l ]7 M7 d2小文件过多问题& {4 q" t% J w2 h4 N. a
3.spark sql合理利用cpu资源& _. W; ?4 {7 \4 J( H7 c& ?+ P
4.spark sql广播join
. X/ f5 ~6 Q! ]4 ]6 d( g5.提高并行度解决数据倾斜错误演示: M* G3 d9 q+ q; G7 ~$ G8 m) G
6.解决数据倾斜打散大表扩容小表' e E% p8 ]& T
7.大表join大表优化SMBJoin, w; p5 j1 Q6 u$ h9 a2 A
8.使用堆外内存6 B; y$ H! b/ m8 ^; h6 Z
9.spark 3.0AQE动态缩小分区1 w, n3 Y. v1 \# b; `, u
10.spark 3.0AQE动态选择join策略
1 r7 g# Y+ C. [+ z1 \8 R2 \11 spark3.0AQE动态优化倾斜join' H1 l6 L4 X* Q7 r6 H! ]# a I6 h
12 sparak3.0 dpp动态分区修剪
( [/ V6 I0 w' u# `
0 J# J5 \$ z2 ^& l1 ?1 c本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！
# c+ T7 s+ Y2 E y( ?/ D/ L5 F
* v; b$ d7 k: `' i1 r0 `/ F
6 S- c0 A" E) N8 u% A8 J
5 l. L/ n: h0 W; ~/ p" A1 z% i
" }/ D7 f! u n. h# `. n! o |
/1 
