1.内存优化
9 m# V! k# N' Z+ @. E2小文件过多问题- ?4 f: u D) J7 P: g" N: k* g( z
3.spark sql合理利用cpu资源
7 |7 h/ @9 g: R& H4.spark sql广播join1 t9 n$ M" f j
5.提高并行度解决数据倾斜错误演示
/ Z# b+ [- b1 V, |1 c6.解决数据倾斜打散大表扩容小表$ y4 h' h0 j) G/ A4 |8 T
7.大表join大表优化SMBJoin
* b6 u% A, K! X# e) ?6 [) b, Z* ], z8.使用堆外内存5 v: O0 ?4 L$ @9 H
9.spark 3.0AQE动态缩小分区
' j l4 h5 c- {* f6 D10.spark 3.0AQE动态选择join策略% x# g6 J% Q8 ~ C
11 spark3.0AQE动态优化倾斜join
F4 L' f& F5 T# q, x12 sparak3.0 dpp动态分区修剪
' s! z- u' {2 X0 P5 a. k
0 C5 x8 v: j9 f本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
! k, ?) M) ^3 S% V9 b3 a$ c* _8 E5 v3 x: k" n1 F8 W. j
6 @) B6 i& Y" f# v: l
0 m7 f, q9 U* i( h% C5 N
3 q5 g" l. }( E" s/ `- S9 F |