1.内存优化
* Z- e$ H/ J$ E9 j/ f$ w7 N2小文件过多问题6 [$ v6 Q( V% r( W( e
3.spark sql合理利用cpu资源
" r" v% ~0 [$ g: A: K. G3 W4.spark sql广播join. a- E" |; W# Y: Y- y8 P
5.提高并行度解决数据倾斜错误演示
' m) s: U B3 ^$ O, r+ X6.解决数据倾斜打散大表扩容小表
- b, }9 w- n' f) S! W' |% c$ m7.大表join大表优化SMBJoin
7 w' I0 a: {5 y8.使用堆外内存
+ k0 V. P7 M- B' Z; ?9.spark 3.0AQE动态缩小分区. Z5 e, O/ p; H) M0 `1 @- P
10.spark 3.0AQE动态选择join策略$ j* g& J1 `- K/ j, p. v; `# {
11 spark3.0AQE动态优化倾斜join) Y' P+ {: G: p" c1 A$ H2 n
12 sparak3.0 dpp动态分区修剪" z$ C2 G. t: i, g' F/ |6 O9 v
5 }+ P' Q- Z2 p. u% y
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
4 T" F: K, x% l1 x# S) O7 J# ~$ A: w9 V {
7 ~' H9 d7 Y. c! m- W3 `) l5 s0 @1 I; L! g% ^3 E4 w8 m
6 {0 ^0 `0 [# K |