1.内存优化! ?8 a# l+ r$ m+ C
2小文件过多问题
0 H( a# v. V/ Z# r$ q+ v3.spark sql合理利用cpu资源
2 {; f* R6 O; Y* ]1 b5 W; w* w4.spark sql广播join5 Q& K0 [( u; \; g
5.提高并行度解决数据倾斜错误演示8 q/ K: j c0 m1 u5 C+ N% l
6.解决数据倾斜打散大表扩容小表% t% n. J1 u. m2 I: }
7.大表join大表优化SMBJoin, O1 G) m' R& X0 p
8.使用堆外内存* N {5 r j4 M6 i8 h4 N3 E
9.spark 3.0AQE动态缩小分区
. _% Y* p3 ` f10.spark 3.0AQE动态选择join策略. d& l3 Q: o' i# L$ N" _* d+ u! \$ k
11 spark3.0AQE动态优化倾斜join
4 b' M. X2 ~) ?3 _$ \12 sparak3.0 dpp动态分区修剪4 D8 t" a: I% ^1 D3 ?- n
5 g+ D' G+ K3 j% u) e9 W8 t2 D本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
# w: N0 j/ J# H" X- v1 m( i+ I+ d: ~7 j$ }+ l# f. S! t! b
' d9 d1 G6 X" k: y' y% t4 E. L
, ` A* [' [. P
- J. u* B3 D f; X. N. @
|