1.内存优化- g6 L; H) S7 J! k: s
2小文件过多问题
& Q, _/ x- H+ e0 O% K% z- H3.spark sql合理利用cpu资源
, b) W/ |7 e( U$ x- h, q# | J4.spark sql广播join
$ w0 p' E- q) m2 n5 l% x, q5.提高并行度解决数据倾斜错误演示0 n& |6 E, M" T/ \1 s/ |+ C
6.解决数据倾斜打散大表扩容小表/ j9 y, R, j' R8 M" y! A4 s) x
7.大表join大表优化SMBJoin
2 i6 V* d# g. Y3 W! u K8.使用堆外内存9 c8 H# X6 `. N) i6 t
9.spark 3.0AQE动态缩小分区3 o- X* b4 q$ D/ O+ Q, ]3 I, z
10.spark 3.0AQE动态选择join策略
( s" K; e( P4 D. a# E3 `11 spark3.0AQE动态优化倾斜join5 a+ p9 q* g/ x0 f: t+ [5 B$ O
12 sparak3.0 dpp动态分区修剪
1 j/ A( f6 w9 G! U: _
" \0 d9 ?4 p( D) v% |本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
5 P$ k! I: n4 b9 M/ Z# j5 x
3 R6 R# b* e; }& y. f3 n
; I( q& `3 N+ O' g" g
# a8 _+ k; M5 p \6 \4 L
; p. }6 \2 t) `* C- d( B! J* m |