1.内存优化
7 s; P2 q& K3 v5 a, T: P6 t) ^; ?2小文件过多问题
4 o3 g$ @6 Q& S- Z4 x3.spark sql合理利用cpu资源# f& q' m) s9 T! b1 \, P8 M
4.spark sql广播join
3 }6 e8 [* i# i8 X3 }; ^, Y% S! K2 m5.提高并行度解决数据倾斜错误演示! u& C: ]2 `6 x F9 U
6.解决数据倾斜打散大表扩容小表2 a4 I; ^$ z+ I# }" A) G, \
7.大表join大表优化SMBJoin
& B% Z7 Y0 a6 Q5 ?# I) k8.使用堆外内存
8 a0 V1 r W& b6 z/ s9.spark 3.0AQE动态缩小分区
* \, F3 \) h3 o8 y& g. y; M10.spark 3.0AQE动态选择join策略7 A/ O, g0 J3 [$ o7 ~
11 spark3.0AQE动态优化倾斜join( v S) |% U6 ^. X
12 sparak3.0 dpp动态分区修剪* [& z6 m: r9 @$ @
" Z8 i' {% ?8 r
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！" s b- |7 j' W, U% I' V3 [# s
9 g8 ^" u( g& G7 h9 }- p/ {1 z
& r$ u' \+ M. c4 J. _9 H8 `1 v6 }- C. }' G" f) l
9 A9 g# _; a* c# p7 z6 m t |
/1 
