检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 操作标识符。 value 否 Array of strings 属性过滤值,根据attribute变化。如attribute为数据源:base.DataAsset.sourceType,则值可为["dws", "hive"]。 condition 否 String 条件拼接准则。
状态异常,会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成
不启用该功能,例如:“ok.txt”。 fromJobConfig.waitTime 否 String 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。 等待时间设置为0时,当源端路径下不存在标识文件,任务会立即失败。 单位:秒。
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
据库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/${dateformat(yyyy-
据库的“SQOOP.CDM_20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/${dateformat(yyyy-
用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群
manager_name String 管理员名称。 manager_type String 管理员类型。 datasource_type String 数据源类型。 sync_status String 同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL
表3 请求Body参数 参数 是否必选 参数类型 描述 dw_id 否 String 连接id。 db_type 否 String 数据源类型。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 table_id 否 String
TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 db Integer 数据库。 tb Integer 数据表。 tb_published
参数 是否必选 参数类型 描述 data_source_vos 否 Array of ApigDataSourceVo objects 数据源结构体。 表4 ApigDataSourceVo 参数 是否必选 参数类型 描述 dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。
of TableInfo objects 下游血缘表列表,列表大小:1至100。 source_connection_id 是 String 源数据连接id。 target_connection_id 否 String 目标数据连接id。 column_lineages 否 Array
参数 是否必选 参数类型 描述 data_source_vos 否 Array of ApigDataSourceVo objects 数据源结构体。 表4 ApigDataSourceVo 参数 是否必选 参数类型 描述 dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。
是 String 父权限集id。 cluster_id 是 String 集群id。 datasource_type 是 String 数据源类型, HIVE database_names 是 Array of strings 目前批量授权只支持单库下的多表授权,或同一集群下个多库授权,区分这两类可通过
frequent Boolean 是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取
SON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+ "{\r\n"+ "\"f
0, "type_name" : "dataasset.Source", "type_display_name" : "数据源", "project_id" : 123456, "domain_id" : 123456, "instance_id"
用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群
0, "type_name" : "dataasset.Source", "type_display_name" : "数据源", "project_id" : 123456, "domain_id" : 123456, "instance_id"