检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 源表名和写入目录配置为时间宏变量 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/${dateformat(yyyy-MM-dd)}/${timestamp()}”,经过转换后为“/opt/ttxx/2017-10-16/1508115701746”。
作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。
表3 请求Body参数 参数 是否必选 参数类型 描述 data_source_vos 否 Array of ApigDataSourceVo objects 数据源结构体。
source_connection_id 是 String 源数据连接id。 target_connection_id 否 String 目标数据连接id。
db_type 否 String 数据源类型。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 table_id 否 String 表ID。
datasource_type String 数据源类型。 sync_status String 同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。
datasource_type 是 String 数据源类型, HIVE database_names 是 Array of strings 目前批量授权只支持单库下的多表授权,或同一集群下个多库授权,区分这两类可通过 传参中tables是否为空来判断。
表3 请求Body参数 参数 是否必选 参数类型 描述 data_source_vos 否 Array of ApigDataSourceVo objects 数据源结构体。
*JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。
"projectId" : "" }, "status" : "ACTIVE", "version" : 0, "type_name" : "dataasset.Source", "type_display_name" : "数据源"
datasource_type String 数据源类型。 sync_status String 同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。
"projectId" : "" }, "status" : "ACTIVE", "version" : 0, "type_name" : "dataasset.Source", "type_display_name" : "数据源"
工程配置文件 .project 如果使用maven构建,SDK包中“java-sdk-core-x.x.x.jar”的maven仓库地址为https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/,配置maven源的方法可参见
作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。
datasource_type String 数据源类型。 sync_status String 同步状态,UNKNOWN,NOT_SYNC,SYNCING,SYNC_SUCCESS,SYNC_FAIL sync_msg String 同步信息。
数据源认证及其他功能配置 认证类型 是 开启手动模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名,通过代理连接的时候,是必选项。
说明: 数据连接为MRS Spark连接(通过MRS Spark连接支持MRS Hudi数据源)时,由于Hudi的限制,必须存在字段主键才能数据落库成功,否则会导致表同步失败。 分区 选中时表示该字段为分区字段。 不为空 是否限制该字段不为空。
OBS路径 DLI模型的表类型为DLI_EXTERNAL时,需填写与表相关联的存放源数据的OBS路径。OBS路径格式如:bucket_name/filepath。 数据格式 该参数仅DLI模型的表有效。