1.内存优化
$ C: g: u" L$ j2小文件过多问题
. V) f& Y6 J; ~3.spark sql合理利用cpu资源
5 B: J! v/ P% s, \, ~6 \4 k6 |4.spark sql广播join+ t1 } `' T. j6 k9 T, l
5.提高并行度解决数据倾斜错误演示: y- V0 F# R+ P, y
6.解决数据倾斜打散大表扩容小表# ~# n @; v) H* Q6 p
7.大表join大表优化SMBJoin$ E6 e5 n; X( E# _0 R1 {
8.使用堆外内存$ G1 p& K% _5 G! W6 j! k
9.spark 3.0AQE动态缩小分区
$ g' i# F# W y& b! I10.spark 3.0AQE动态选择join策略
: K3 g* c$ z# a& L6 o* J9 r11 spark3.0AQE动态优化倾斜join" b/ {4 k/ v1 f/ n" S
12 sparak3.0 dpp动态分区修剪; g% C+ R9 j3 `( t. x
# Z% d- ]; N: G2 W# R9 g本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
. `8 `# [3 h1 u7 b0 f" y6 p$ Y1 ?3 l$ C! K. a6 h* S- ?
[% r# O1 s( }6 G, }; x+ w7 H
9 m. ^) a& y1 p
' e0 C5 `1 y( y) r0 K8 U |