1.内存优化8 Q& d3 R# _. h3 r1 k4 a
2小文件过多问题; L5 o6 W- z6 ?4 P
3.spark sql合理利用cpu资源' {2 y/ X# S/ I
4.spark sql广播join7 b$ b: c+ E9 c1 C* ~6 s% l; X
5.提高并行度解决数据倾斜错误演示# X9 U1 F+ ]' Y1 Y) U" F8 S5 W
6.解决数据倾斜打散大表扩容小表
5 r) b; y9 g% Y5 g9 M7.大表join大表优化SMBJoin
L( P2 A5 v" c4 P( T8 M( E8.使用堆外内存
1 ]! E- J- c q( B1 ^* v9.spark 3.0AQE动态缩小分区9 i- \( C; i4 s! O) }. U- k4 z
10.spark 3.0AQE动态选择join策略
1 v' w! {1 Y, P11 spark3.0AQE动态优化倾斜join
+ A; I0 q/ S' d' N( I12 sparak3.0 dpp动态分区修剪
( p. b) A- f8 J; Z) t& v
7 E$ I: w( O1 U# q3 Z! b& l本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
0 _# t9 r. v, j8 B0 w0 Z3 M7 [* W# x: I- |( P- N
$ G/ Z$ L2 o8 P/ ^
/ n$ c) W. l- B( U# [ i
9 d! @* A9 N% H) E+ Y" v |