正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。 请求消息 无请求参数。 响应消息 参数说明 表2 响应参数说明 参数名称 是否必选
ent avro的形式写入作为sink的topic中 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多
ent avro的形式写入作为sink的topic中 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
type 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当schema为obs时,输出数据编码格式仅支持“parquet”格式。 当schema为hdfs时,输出数据编码格式支持“parquet”格式和“csv”格式。 format.field-delimiter
Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业 使用Spark作业跨源访问数据源
Format') 默认值为:yyyy-MM-dd。 日期格式由Java的日期模式字符串指定。在Java的日期和时间模式字符串中,未加单引号(')的字符'A' 到'Z' 和'a' 到'z' 被解释为模式字符,用来表示日期或时间字符串元素。若模式字符使用单引号 (') 引起来,则在解
Format') 默认值为:yyyy-MM-dd。 日期格式由Java的日期模式字符串指定。在Java的日期和时间模式字符串中,未加单引号(')的字符'A' 到'Z' 和'a' 到'z' 被解释为模式字符,用来表示日期或时间字符串元素。若模式字符使用单引号 (') 引起来,则在解
c2c48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli",
数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表1可以获取到源和目的端的数据类型映射关系。 表1 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
type 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当schema为obs时,输出数据编码格式仅支持“parquet”格式。 当schema为hdfs时,输出数据编码格式支持“parquet”格式和“csv”格式。 format.field-delimiter
older_than:指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点之前的多版本数据。时间格式需要为yyyy-MM-dd
默认情况下,并行度由框架决定,和链在一起的上游operator一样。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。 使用跨源认证则无需在作业中置账号密码。 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 在增强型跨源中解绑已绑定的队列q1和q2。 { "queues": [ "q1", "q2" ] } 响应示例 { "is_success": true
String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 停止运行ID为128和137的作业。 { "job_ids": [128, 137], "trigger_savepoint": false } 响应示例
请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。 var_value 是 String 全局变量值。 is_sensitive
默认情况下,并行度由框架决定,和链在一起的上游operator一样。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。 使用跨源认证则无需在作业中置账号密码。 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。
older_than:指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点之前的多版本数据。时间格式需要为yyyy-MM-dd
String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 var_value
HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件