检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。 预定义标签：在标签管理服务（简称TMS）中创建的预定义标签，属于全局标签。 有关预定义标签的更多信息，请参见《标签管理服务用户指南》。
mRecordsOut Task发出的记录总数 flink_taskmanager_job_task_numRecordsOutPerSecond Task每秒发出的记录总数 flink_taskmanager_job_task_operator_numRecordsIn Operator收到的记录总数
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python
如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。 预定义标签：在标签管理服务（简称TMS）中创建的预定义标签，属于全局标签。 有关预定义标签的更多信息，请参见《标签管理服务用户指南》。
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
使用方法：default队列仅适用于提交SQL作业，在DLI管理控制台提交SQL作业时选择"default队列"即可。 非弹性资源池模式（废弃，不推荐使用）： DLI的上一代计算资源管理方式，因缺乏灵活性，目前已不推荐使用。 非弹性资源池模式提供固定规格的计算资源，购买后独占资源，无法根据需求动态调整，可能会导致资源浪费或在需求高峰期资源不足。
典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI 父主题： 数据迁移与数据传输
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update
删除队列 根据实际使用情况，您可以通过删除操作释放队列。 如果待删除的队列中有正在提交或正在运行的作业，将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择待删除的队列，单击“操作”列的“删除”删除。
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Spark3
String 创建连接时，用户指定的对端服务（CloudTable/CloudTable.OpenTSDB/MRS.OpenTSDB/DWS/RDS/CSS）。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 queue_list 否 Array of Strings
DLI队列的引擎版本不同，校验的权限范围不同： HetuEngine不支持通过IAM用户授权，需使用DLI资源授权。 解决方案 请参考《数据湖探索用户指南》中的数据库权限管理章节授予用户创建表的权限。 父主题： DLI权限管理类
Flink作业重启后，如何保证不丢失数据？ DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以
是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 database_name 是 String 新增数据库名称。 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。
或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionColumn和nu
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
