检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导出结果存储的路径(当前仅支持将数据存储在OB
true, "message": "作业更新成功" } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
=> 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表。 使用由DLI提供的元数据服务时,本命令仅支持配置table参数,不支持配置path参数。 如果需要对指定分区进行clustering,参考格式:predicate =>
具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式二(废弃) 导出查询结果 查询所有作业 取消作业(推荐) 该API当响应消息中“job_type”为“DCL”时,为同步操作。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1
rojects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。 响应示例如下,例如DLI服务部署的区域为“cn-north-4”,相应消息体中查找“name”为“cn-north-4”,其中projects下的“id”即为项目ID。 { "projects":
DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。
细粒度权限:dli:database:createTable, dli:table:select。 LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW
表2 参数说明 参数名 具体含义 举例 bootstrap.servers kafka连接地址 kafka服务IP地址1:9092,kafka服务IP地址2:9092,kafka服务IP地址3:9092 group.id kafka消费组 如当前kafka消费组为test-group
AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息
URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 paths 是 Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。
VACUUM所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 VACUUM delta_table0 RETAIN 168 HOURS; VACUUM
定 write.precombine.field 是 无 String 数据合并字段 基于此字段的大小来判断消息是否进行更新。 如果您没有设置该参数,则系统默认会按照消息在引擎内部处理的先后顺序进行更新。 write.payload.class 否 无 String write.payload
模板的相关描述,且长度为0~512字符。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如
细粒度权限:dli:database:createTable, dli:table:select。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0
使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1 创建生命周期规则
给新用户设置跨源认证权限时,该用户所在用户组具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证,单击操作
配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百
Java SDK版本说明。 方法一:通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK: 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。 安装配置完成后,输入命令“mvn -v”,显示如下图 Maven版本信息
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求发送是否成功。“true”表示请求发送成功。