检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value TableModelStatisticVO object value,统一的返回结果的外层数据结构。 表6 TableModelStatisticVO
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 400 BadRequest。 401 Unauthorized。
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
String 数据标准的ID,ID字符串。 directory_id String 标准所属目录,ID字符串。 directory_path String 目录树。 row_id String 标准行的ID,ID字符串。 status String 实体的发布状态,只读,创建和更新时无需填写。
DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
已驳回 logic_tb_id 否 String 逻辑实体的ID,ID字符串。 biz_catalog_id 否 String 归属的业务分类的ID,ID字符串。 catalog_path 否 String 归属的业务分类的路径,格式: {"l1Id":"958408897973161984"
授权成功后,则可以在“白名单信息”页签查看已授权的账号。 如果不再需要授权给其他账号,在此租户名称所在行的操作列,单击“删除”,将无需授权的租户账号删除。 另外,数据服务共享版IAM认证方式的API,系统已默认记录了当前账号的白名单,不支持删除。 相关操作 批量添加白名单:您可以在专享版的“开发API > A
Elasticsearch连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循环替换子作业中的变量,数据集应
向上取整,1)。 其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。
x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。 该参数表示抽取指定值的partition
行授权。您可以将不同的APP认证方式API授权给不同的应用,提升数据安全性。 描述 对应用的介绍。 单击“确定”,创建应用。 创建应用成功后,在“应用管理”页面的列表中显示新创建的应用和应用ID。 将IAM认证方式的API授权给当前账号 使用IAM认证方式的API,必须将API授
向上取整,1)。 其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。
dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。 schema 否 String 汇总表所在的Schema名,DWS类型必须填写。
标准覆盖率统计信息 功能介绍 查看某个数据标准在所有模型字段中的覆盖率,即使用该标准的字段占总字段的百分比。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/definitions/statistic/{id} 表1 路径参数 参数
isNumeric(value) 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils
OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明
采集任务。 技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产,支持模糊搜索。