检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据源数据
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
准备工作 配置DLI云服务委托权限 创建IAM用户并授权使用DLI 配置DLI作业桶
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数
创建并使用LakeFormation元数据 DLI对接LakeFormation LakeFormation资源权限支持列表与策略项 父主题: 创建数据库和表
迁移外部数据源数据至DLI 迁移数据场景概述 使用CDM迁移数据至DLI 典型场景示例:迁移Hive数据至DLI 典型场景示例:迁移Kafka数据至DLI 典型场景示例:迁移Elasticsearch数据至DLI 典型场景示例:迁移RDS数据至DLI 典型场景示例:迁移DWS数据至DLI
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通(增强型跨源连接) 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例:配置DLI与内网数据源的网络联通 典型场景示例:配置DLI 与公网网络连通
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
包年/包月:根据所选配置,弹性资源池CU范围和购买时长计算配置费用。 按需计费:根据所选配置,弹性资源池CU范围计算配置费用。 计费示例 价格仅供参考,实际计算请以DLI产品价格详情中的价格为准。 样例1:包年/包月弹性资源池场景 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池
15版本新增读写Hive、Hudi等Connector。 更多Flink 1.15版本的优势请参考Flink 1.15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台
Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink 1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台
NOT IN语句查询性能提升。 优化Multi-INSERT语句查询性能 Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI
NOT IN语句查询性能提升。 优化Multi-INSERT语句查询性能 Multi-INSERT语句查询性能提升。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 3.1.1版本? 在DLI
入的周期。 COW表如果业务没有历史版本数据保留的特殊要求,保留版本数设置为1。 COW表的每个版本都是表的全量数据,保留几个版本就会冗余多少个版本。因此如果业务无历史数据回溯的需求,保留版本数设置为1,也就是保留当前最新版本 clean作业每天至少执行一次,可以2~4小时执行一次。
窗口可以定义在一个分区表上。PARTITION BY 子句代表着每行数据只在其所属的数据分区进行聚合。 范围(RANGE)定义:范围(RANGE)定义指定了聚合中包含了多少行数据。范围通过 BETWEEN 子句定义上下边界,其内的所有行都会聚合。Flink 只支持 CURRENT ROW 作为上边界。有两种方法可以定义范围:ROWS
Flink作业相关SDK 02 购买 DLI服务目前支持:SQL作业、Spark作业和Flink作业。您可以根据业务类型以及数据量大小灵活选择DLI的计费方式。 价格说明 计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能,常用SQL语法。除此之外,还可以实时查看监控指标及审计日志,以便及时了解DLI的健康状态。