1.内存优化- U; q0 T$ B/ B
2小文件过多问题
! A, n4 |* h# g4 G3.spark sql合理利用cpu资源
/ y5 L: k3 D* k% e5 D& `4.spark sql广播join
9 z- Z& ?# _. L2 L" u5 Q# E5.提高并行度解决数据倾斜错误演示
! I [7 d* S5 k* ]; n9 T; K6.解决数据倾斜打散大表扩容小表- g0 _/ |6 }5 n
7.大表join大表优化SMBJoin
' Z! Q6 P1 m0 L" Z- d# F$ l8.使用堆外内存/ h+ r/ K( B0 ^; `6 E- R0 r _
9.spark 3.0AQE动态缩小分区
( k4 [, E5 l$ v% q, }! r0 w# W( A" ?10.spark 3.0AQE动态选择join策略* \ ?& U+ n$ n6 v9 L6 k9 U. N
11 spark3.0AQE动态优化倾斜join& a1 z, n, a! H$ X0 x) h J$ v0 y8 Y
12 sparak3.0 dpp动态分区修剪
) A/ Z7 \# C+ g1 S
- P+ r0 L }; h* A+ g- l& \/ ^, \本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!1 ]. D. [" z* E" r
% K$ T# H0 A) }1 d
4 E8 r* l" D4 K6 _+ X# S
6 L8 n) k4 g- ?( I; r( `7 s! y! T" Z* K& Y
|