1.内存优化6 R4 k3 h" ^. W! ]# @4 ^
2小文件过多问题/ t/ R; }9 z' R# A
3.spark sql合理利用cpu资源5 m! j1 L( `3 K
4.spark sql广播join
, O2 v: y8 U; g2 w7 m5.提高并行度解决数据倾斜错误演示( J) ?9 r$ {! k: _/ \3 P
6.解决数据倾斜打散大表扩容小表' i% L: }7 p9 e# m
7.大表join大表优化SMBJoin' y! ?; \" N6 \% ^* d5 C- _
8.使用堆外内存
( n8 L1 r3 i+ v: T& `$ C# K9.spark 3.0AQE动态缩小分区# V. I- P( [( v6 F. \$ K4 N! P: X
10.spark 3.0AQE动态选择join策略! [( `, T0 ~+ r. \6 i D. {' C) Q
11 spark3.0AQE动态优化倾斜join9 @( @. Y" W2 P5 Q
12 sparak3.0 dpp动态分区修剪
+ q! H" r7 ~1 E6 K' X! U6 }/ b7 w! V! ]% t2 Q, x5 z; ^
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!' i& Z$ x+ J6 q1 A" k) A
5 ?( l7 j/ M3 |% H, w/ ~
" `0 Y+ Y5 _% l8 x7 x
O3 J* T( U6 E" n }. l: v' `9 o" W) _0 J: u
|