检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 node_id 是 String 创建IEF消息通道指定的边缘节点ID,UUID格式。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求
否 String 批处理作业名称。 owner 否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户(资源租户)。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型,只支持spark类型参数。
48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description"
48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description"
OpenTSDB,填写OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metri
lientPort”的参数值即为ZooKeeper的端口。 使用root用户ssh登录任意一个MRS主机节点。具体请参考登录MRS集群节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。 cat /etc/hosts 例如,查询结果参考如下,将内容复制保存,以备后续步骤使用。
48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description"
否 String 批处理作业名称。 owner 否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户(资源租户)。 kind 否 String 批处理作业类型,只支持spark类型参数。 queue 否 String 批处理作业所在队列。
格式二:jdbc:oracle:thin:@//host:port/service_name;这种方式是Oracle推荐的,对于集群来说,每个节点的SID可能不一致,但ServiceName是一致的,包含所有节点。 driver Oracle驱动类名: oracle.jdbc.driver.OracleDriver dbtable
48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description"
双AZ能提高您的数据可用性。 双AZ属性一旦启用,后续无法修改。 CPU架构 X86 鲲鹏 规格 队列规格指的是计算节点所有CU数的总和,1CU=1核4GB。DLI系统会自动分配各计算节点的内存和CPU大小,具体计算节点个数客户端不感知。 选择“包年/包月”计费模式时,可选择“固定规格”,也可以“自定义规格”。“按需计费”只支持选择固定规格。
原生数据类型 DLI支持原生数据类型,请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648~2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
导入Flink作业保存点 功能介绍 导入Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
当一张表在另一张表找到匹配的记录之后,半连接(semi-join)返回第一张表中的记录。与条件连接相反,即使在右节点中找到几条匹配的记录,左节点的表也只会返回一条记录。另外,右节点的表一条记录也不会返回。半连接通常使用IN或EXISTS作为连接条件。 而anti-join则与semi-
获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点 步骤1:在DBeaver新建DLI JDBC驱动
Key:Value,...} path 是 STRING 表示在json中的path,以$开头。不同字符的含义如下: $表示根节点。 .表示子节点。 []表示[number]表示数组下标,从0开始。 *表示Wildcard for [],返回整个数组。*不支持转义。 返回值说明
regionName DLI队列所在的区域名。 从地区和终端节点获取,对应“区域”列就是regionName。 spark.dli.user.dliEndPoint DLI队列所在的终端节点。 从地区和终端节点获取,对应的“终端节点(Endpoint)”就是该参数取值。 spark.dli
Flink作业常用操作 用户创建了新作业后,需要根据用户的实际需求对作业进行操作,包括编辑作业基本信息,启停作业、导入/导出作业等。 编辑作业 用户可以对已经创建的作业进行编辑,如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中,单击“作业管理”
通过数据治理中心的DLI SQL节点传递SQL语句到DLI中执行,请参考《DLI SQL》。 通过数据治理中心的DLI Flink Job节点执行一个预先定义的DLI作业,请参考《DLI Flink Job》。 通过数据治理中心的DLI Spark节点执行一个预先定义的Spark作业,请参考《DLI