1.内存优化7 ^5 q$ G# O4 B9 ~# J& g
2小文件过多问题
; U" J8 q1 |8 z1 ] y9 B) I$ X3.spark sql合理利用cpu资源1 R5 I# H' z( P4 d& H4 Y f
4.spark sql广播join+ d$ \& \" w( F4 K3 E
5.提高并行度解决数据倾斜错误演示) T! I- z9 a. A8 _# T5 _6 {
6.解决数据倾斜打散大表扩容小表
2 ^' ~4 j; u* O; i0 l: `; P) x+ ?7.大表join大表优化SMBJoin2 l$ w8 e/ _0 p8 X4 Z3 J; d: ^
8.使用堆外内存. O# T9 ~. B' y3 u1 D! |
9.spark 3.0AQE动态缩小分区
* T0 ~" c* S2 c% [! }( U10.spark 3.0AQE动态选择join策略
# p( p ?- a" k- d9 ]8 ?11 spark3.0AQE动态优化倾斜join+ j* m% H( |' B
12 sparak3.0 dpp动态分区修剪9 ~8 B8 H. @ I7 Y) N/ J9 `/ \
0 y6 d( s0 G0 [3 w! B
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！: |0 O4 I3 m' C: C3 n G* O7 R; m
1 A ?* w9 h: e4 r/ D4 A
9 W! D7 ^, P* P+ D3 _4 J% ^4 n4 }& B1 i
* f- E6 E9 F0 Z' M
|
/1 
