1.内存优化
+ E L' u0 D6 r2小文件过多问题1 L8 G: Z+ h9 B1 y
3.spark sql合理利用cpu资源# H1 d7 @; V$ U/ A
4.spark sql广播join4 k* J: Q4 [) P
5.提高并行度解决数据倾斜错误演示+ Z' O" l4 f+ q' ?, t" i
6.解决数据倾斜打散大表扩容小表
, G' D# |4 h$ E% L! T: Y( `* C7.大表join大表优化SMBJoin" z3 [/ `8 H5 q! H2 v( }( j
8.使用堆外内存3 F$ Z' L$ D, [
9.spark 3.0AQE动态缩小分区
; n* O0 [- o3 r) h10.spark 3.0AQE动态选择join策略
1 h. X# X5 F6 H* R* Z( p11 spark3.0AQE动态优化倾斜join
3 j( Z0 R0 t& m12 sparak3.0 dpp动态分区修剪. T3 K% Q( [! c7 a' F+ f
( y5 [ p l/ n1 P& j本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!
( ~7 ^6 c$ [7 Z% ?7 g* f
1 y. Y, k8 E7 h+ M* y' {
+ ~; s( o( A, G5 h4 k& Z' n0 B9 Z) k* t" o
8 @8 G3 U" r2 C9 ]: Q1 c6 V |