1.内存优化 U, y4 K3 b) g% }
2小文件过多问题
' \. X$ o3 g: v7 T+ _" S- ]$ @3.spark sql合理利用cpu资源 x; Z4 V. c+ ?. \+ w$ v9 u8 n# |
4.spark sql广播join) F0 O0 G: _6 j) r; S' S2 [
5.提高并行度解决数据倾斜错误演示, {) l* G% ]. j* A: o b
6.解决数据倾斜打散大表扩容小表
" ]$ p( B# n+ v1 q% k) L7.大表join大表优化SMBJoin5 M5 G; s$ _: r& K
8.使用堆外内存
$ J$ [0 y+ G, N( z9.spark 3.0AQE动态缩小分区9 k' q6 P; z. k' z* e- F% m0 l
10.spark 3.0AQE动态选择join策略% l$ D$ Q) }2 a9 w- ^
11 spark3.0AQE动态优化倾斜join) M& G) H0 Q' f2 @9 ^
12 sparak3.0 dpp动态分区修剪
: p( W: M8 K+ K7 Z# \ T9 r# O2 [" c% Y4 I
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！1 Z m0 _" m/ i
4 t5 u b+ q% m. `" g
; @" \) o1 ]1 D. g( L" a( ~$ M7 R
6 Q5 E$ h) ~, f) C- o5 k4 H+ Z! y3 X/ @" A9 l
|
/1 
