开启左侧

大数据之Spark SQL优化

[复制链接]
11929 50
cx 发表于 2021-8-18 22:31:56 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
1.内存优化4 b' k0 |' g4 ^  |% P% i6 Q! `, c
2小文件过多问题" ]4 c; p8 ~  G6 B* K
3.spark sql合理利用cpu资源
/ B3 `" n  H' P( Z* e4.spark sql广播join% _: O8 D  G, ?7 Y- T: Z2 Q$ @$ F9 h
5.提高并行度解决数据倾斜错误演示1 r5 u' K3 a" X
6.解决数据倾斜打散大表扩容小表
/ T# A) |3 J+ `7.大表join大表优化SMBJoin
/ o- }$ N" o2 P( S% l6 h" |' o0 U" h" k8.使用堆外内存
! I4 q6 M" o# F, t5 `9.spark 3.0AQE动态缩小分区& E4 S! {8 f: S) l. o+ ^4 b* {; z4 W
10.spark 3.0AQE动态选择join策略& ^; f- s& z- F( g( {- k
11 spark3.0AQE动态优化倾斜join. A: P% [+ q$ h
12 sparak3.0 dpp动态分区修剪
  s2 ~4 |* O; p& z7 I0 u9 t
8 d9 X+ N0 ?6 R3 J
本站精挑细选,只分享优质精品资源,已泛滥、已过时、质量差的资源不录入!1 }* p. f4 l* W' Y1 }: [

/ S* ~! [! t+ B( _* a. q8 M8 H
8 y  j7 u: o# k5 D: c- n/ z4 x, v! l. n. r, W$ d

# Y! ~( M- ~- n3 ~- L# f' O$ D
收藏
收藏0
分享
淘帖0
支持
支持0
反对
反对0
回复

使用道具 举报

精彩评论50

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注

粉丝

帖子

发布主题
推荐阅读 更多
阅读排行 更多
精彩推荐
关闭

欢迎大神访问! 常来~上一条 /1 下一条

扫码联系微信

QQ号1:864750570

QQ号2:736375048

联系其一即可,YES~

QQ群9:752758310

管理QQ:

864750570

(有事咨询、留言,请直奔主题)
广东省深圳市南山区科智路08号
864750570@qq.com

手机版-小黑屋- 程序源码论坛  

Powered by king X 3.4© 2016-2023 www.cx1314.cn Inc.