检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用自定义镜像增强作业运行环境 自定义镜像应用场景 通过下载DLI提供的基础镜像再按需制作自定义镜像,将作业运行需要的依赖(文件、jar包或者软件)、私有能力等内置到自定义镜像中,以此改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加
DLI对接LakeFormation 操作场景 LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理能力,支持无缝对接多种计算引擎及大数据云服务,便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景,支持对接La
Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 DLI整理了Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异,便于您了解Spark版本升级后SQL队列上运行的作业在适配新版本引擎时的影响。 histogram_numeric函数的返回值的类型不同
使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据 操作场景 DLI Flink作业支持使用其他服务作为数据源和数据输出通道进行数据实时计算操作。 本例采用Kafka服务作为数据源通道,以RDS作为数据输出通道,介绍创建并提交Flink OpenSource
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时,在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。