检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
<descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs>
MATCH ( SKIP TO NEXT ROW | SKIP PAST LAST ROW | SKIP TO FIRST variable | SKIP TO LAST variable
创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用CSS提供的"内网访问地址",格式为"IP1:PORT1,IP2:PORT2"。 resource 指定在CSS关联的资源名,用"/index/type"指定资源位置(可简单理解index为
项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数,默认为100。 offset 否 String 查询结果偏移量,默认为0(连接以创建时间进行排序)。 auth_info_name 是 String 认证信息名,同一个project下唯一。
用户指南》。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。 说明: 访问MRS集群,只支持创建增强型跨源连接并且需要配置主机信息,管理控制
该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 更多具体使用可参考开源社区文档:Apache
创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网IP:内网端口",PostGre格式为"协议头://内网IP:内网端口/数据库名"。 例如:"jdbc:mysql://192.168.0.193:3306"或者"jdbc:postgresql://192
涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Flink自定义作业所需的资源包。 查询组内资源包:确认上传的资源包是否正确。 创建Flink自定义作业:创建Flink自定义作业。 批量运行作业:运行Flink自定义作业。 操作步骤
] } } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 操作成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
增强型跨源连接权限管理 操作场景 增强型跨源支持项目级授权,授权后,项目内的用户具备该增强型跨源连接的操作权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Spark3
成功返回200。 响应参数 表2 响应参数说明 参数 是否必选 参数类型 说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String
否 String 更新后SQL模板文本。 sql_name 否 String 更新后SQL模板名称,该名称在当前工程下必须唯一。 description 否 String SQL模板的描述信息,可以为空。 group 否 String SQL模板分组信息。 响应参数 表3 响应参数说明
该场景作业需要运行在DLI的独享队列上,因此要与Kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源
按扫描量计费 按扫描量计费即:按运行查询作业扫描的数据量付费,如果扫描字节数量少于10M, 按10M计算。 且数据定义语言(DDL)语句(如 CREATE、ALTER、DROP TABLE等语句)、管理分区语句、失败的查询语句无需付费。 对于取消的查询,按取消查询时扫描的总数据量计费。 扫描量计费模式
SPARK:Spark模板。 name 是 String 模板名称。 body 是 String 模板内容。 group 否 String 模板分组名称。 description 否 String 模板描述信息。 language 否 String 语言。 响应参数 表3 响应参数 参数 参数类型 说明 id
name String 模板名称。 body Object 模板内容。详细信息参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板创建者。 请求示例 无 响应示例
到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID 父主题: 公共参数
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor") .option("hoodie.datasource.hive_sync.use_jdbc"