1.内存优化. j- z/ {+ J! [8 s5 N! Q7 M
2小文件过多问题3 _ G% D) m# Q3 y: Q
3.spark sql合理利用cpu资源
+ p2 `2 W/ W) M u: Q; c# l4.spark sql广播join
6 P# ?6 y% S G. z: U$ x5 B5.提高并行度解决数据倾斜错误演示 Z4 t2 r) `1 S( q3 i
6.解决数据倾斜打散大表扩容小表9 I. c7 o: m3 `! P
7.大表join大表优化SMBJoin
' C' z' e8 E* ~6 i o3 J+ d8.使用堆外内存
- f" x7 E, a/ W+ P" l3 W+ X" \9.spark 3.0AQE动态缩小分区 w% U/ o" t4 @- W- \" t3 w
10.spark 3.0AQE动态选择join策略) x+ o" d' z* r, _6 e4 q
11 spark3.0AQE动态优化倾斜join+ z: i* @3 H3 w' ^) Z
12 sparak3.0 dpp动态分区修剪
7 C' S: N; k" X6 M* R( V8 o7 i4 d: L$ o0 ~* ^- U
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
4 l* L6 I! U9 m' M8 t4 E5 C) ~* a. _ t- H5 @
! ~' P; }5 j, M3 n2 g9 L
4 A3 _: x: x z0 J+ i9 C4 q% k+ C5 f# R' [
|