1.内存优化, H A1 b7 n7 L% m
2小文件过多问题
$ E) `2 w4 M2 n, Q- A' H8 W& h3.spark sql合理利用cpu资源
; g8 X, ^; V5 Y4.spark sql广播join
6 \1 R1 F u) D9 f& ~2 k5.提高并行度解决数据倾斜错误演示" M0 d$ g( a" l# t
6.解决数据倾斜打散大表扩容小表
/ G. h# C' a; O5 R7.大表join大表优化SMBJoin
' ]/ v1 d$ Q/ S7 U! s! B8.使用堆外内存
5 |5 y4 j" C+ d% K# Y9.spark 3.0AQE动态缩小分区; f9 Z0 i7 ^ m F. D* A2 L/ K' i
10.spark 3.0AQE动态选择join策略6 V* ]' S: x [! Q
11 spark3.0AQE动态优化倾斜join. x; |3 b* F$ A0 C0 r8 _3 L
12 sparak3.0 dpp动态分区修剪
" o5 l" O$ U( o% l5 z" n4 f
+ l: {- g- q0 Q" N/ j/ d本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
2 `7 y" {) }% q+ P/ i- X# l# d/ T- ~% x/ e9 [2 k: n
! _" Z* ~ ^% h) O5 N, a, @* v1 A. W/ @; m M% a9 [* v8 d
; s* {& f* p# f' P0 I4 `
|