1.内存优化$ v- b( ~2 V, e t3 a% P' w, M
2小文件过多问题) l6 B0 Z& J0 k
3.spark sql合理利用cpu资源
5 \2 I* u/ n' v6 f8 Q4.spark sql广播join
. c# V1 x' w, N/ y7 R4 p& W5.提高并行度解决数据倾斜错误演示
2 q( t# ^( D, C4 H5 x/ P6.解决数据倾斜打散大表扩容小表
- {. J$ G M, b, h: K7.大表join大表优化SMBJoin
' @2 [) m- g( G. x3 f5 x8.使用堆外内存
& H' T8 g8 x6 ~+ o, M2 M9.spark 3.0AQE动态缩小分区
8 Y2 v1 ?& P+ X10.spark 3.0AQE动态选择join策略. m( n1 ]% t% M0 G
11 spark3.0AQE动态优化倾斜join
3 \4 V" {- O$ @" y# ` ~12 sparak3.0 dpp动态分区修剪8 w7 p% _- \# n( f
, ^& C- u/ j, _2 E0 q本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
. L! L2 T4 N. b# d2 b# X4 x( m5 `) q4 T) i; x
0 S4 d; J4 T: R$ g6 J
$ R j6 S; s4 K8 g7 X5 A$ g4 p" J) z' A( v; \3 S7 F! n
|