检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置“脏数据策略”,依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建告警规则”。创建警告规则具体步骤请参考《创建告警规则》。 DLI
URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。
、cu_asc(CU数升序)、cu_desc(CU数降序)四种排序。 tags 否 String 查询根据标签进行过滤。 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导出结果存储的路径(当前仅支持将数据存储在OB
推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业 开发Flink Jar作业 CloudTable
: =+-@ ,但首尾不能含有空格。 响应消息 表4 响应参数说明 参数 是否必填 参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。示例:Success to get tsdb
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 绑定的队列名称。 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 queue_scaling_policies 是 Array of objects
DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: DLI弹性资源池和队列类
project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 cluster_name 是 集群名称。 请求消息 无请求参数。 响应消息 返回码 成功返回200。 响应参数 响应参数如表2所示。 表2 响应参数说明 参数 是否必选 参数类型 说明 create_time
费情况,以SMN的方式通知用户。 勾选后需配置下列参数: “SMN主题”: 选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照,开启后可基于Checkpoint(一致性检查点)恢复作业。
String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 新增表所在的数据库名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和
Spark 3.1.1版本停止服务(EOS)公告 公告说明 华为云计划于2024年12月31 00:00(北京时间)将Spark 3.1.1版本停止服务(EOS)。 影响 DLI Spark 3.1.1版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选
job_type 否 String 作业类型。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 object 作业更新信息。具体请参考表4。
具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式二(废弃) 导出查询结果 查询所有作业 取消作业(推荐) 该API当响应消息中“job_type”为“DCL”时,为同步操作。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1
offset 否 Integer 偏移量。默认为0。 queue_name 否 String 可以根据queueName进行过滤。 请求消息 无。 响应消息 表3 响应参数说明 参数 是否必填 参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。
步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS MySQL数据库和表:创建RDS MySQL的数据库和表。 步骤3:创建DWS数据库和表:创建用于接收数据的DWS数据库和表。 步骤4:创建增强型跨源连接:DLI上创建连接RDS和DWS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink
flink_version 否 String Flink版本。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 Object 作业更新信息。具体请参考表4。
: =+-@ ,但首尾不能含有空格。 响应消息 表4 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 Object 作业状态信息。具体请参考表5。
如何获取AK/SK? 访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保
服务韧性 DLI通过流量限制、跨AZ容灾、备份恢复等技术方案,保障数据的持久性和可靠性。 流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备