1.内存优化) _, r/ b& U( y) N$ _- T' |
2小文件过多问题0 e3 _1 ?5 C5 L {8 |" t
3.spark sql合理利用cpu资源
( o8 u# N9 N: p4.spark sql广播join
7 X. G- \0 ~* e: {, b6 v# _6 J5.提高并行度解决数据倾斜错误演示8 t v# U0 O' o* {/ `$ [ N: ^ \5 W
6.解决数据倾斜打散大表扩容小表
' T9 q# J! X: F% Y4 m7.大表join大表优化SMBJoin3 L9 M' \" L5 Y$ X2 l D+ r+ t
8.使用堆外内存
; Y \0 S8 D! j2 @9.spark 3.0AQE动态缩小分区
5 e* w2 r }7 @10.spark 3.0AQE动态选择join策略
" e3 R1 Q8 U, p3 |11 spark3.0AQE动态优化倾斜join2 {: d# o9 E4 l( E; P
12 sparak3.0 dpp动态分区修剪4 e4 ~2 Y+ Z: \; h( T
1 |$ y' A! } [0 Z0 l0 ~% I6 X
本站精挑细选，只分享优质精品资源，已泛滥、已过时、质量差的资源不录入！
% S# [0 Q) p2 x5 O7 J2 v0 P1 u. A4 o0 ~2 T5 H
; {7 K1 Q. r+ P. H
. ]/ R0 J) \9 f! l5 { W; `7 [: K: S3 I, |2 c
|
/1 
