1.内存优化
0 R$ j( \; V* v, H" k1 N( P+ t" `2小文件过多问题
" o' \8 G |2 M/ O P/ @3.spark sql合理利用cpu资源# k! v( Y* h" M7 A; v0 z
4.spark sql广播join
. E, T+ Z+ b+ `$ y5.提高并行度解决数据倾斜错误演示2 ~! W# U- Z. h, p% Q/ w
6.解决数据倾斜打散大表扩容小表# q* F& H% I: F/ T4 G! J
7.大表join大表优化SMBJoin- B/ q/ x- a. Q6 B' z
8.使用堆外内存! h3 ]7 `# A/ H+ @- G5 w% k" H; P
9.spark 3.0AQE动态缩小分区: b% }" ]! r3 z- L: D
10.spark 3.0AQE动态选择join策略
4 o1 b; ]2 `6 I# R% E0 G) }" K11 spark3.0AQE动态优化倾斜join2 X- U) h. E8 K3 B
12 sparak3.0 dpp动态分区修剪5 _6 F( t2 o4 t4 ^
4 s5 @/ x. f+ [& f" ^: \
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!' W& Q2 y7 }. N% l0 C4 K- Q
# Z- j' s, R( h7 {2 k3 l
1 q! C/ e3 l5 A' r/ k
% j* m4 J$ N& \0 t0 @5 n+ b. j2 y2 n
|