检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_source_type 否 String 数据源类型。 data_connection_id 否 String 数据连接id。 start_time 否 String 开始时间。 end_time 否 String 结束时间。
表1 DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。
如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 说明: 当启动该功能时,也会导致部分字段消耗用户相应的3倍存储空间。
数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的人机用户,通过代理连接时是必选项。
src_table_ids String 源表ID。 src_table_names Array of strings 源表名称数组,只读。 src_table_db_names Array of strings 源表db名称数组,只读。
这里“添加新字段”的功能,要求源端数据源为:MongoDB、HBase、关系型数据库或Redis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。 单击“下一步”后保存作业。
数据预览支持的数据源类型:DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签,查看数据表变更详情。 父主题: 查看工作空间数据地图
在信息架构页面,可以执行以下操作: 搜索 在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。 新建 单击“新建”,可以新建逻辑实体、物理表、维度、事实表和汇总表。
DWS SQL、Shell、RDS SQL(通过代理方式连接数据源) DAYU Administrator KMS Administrator Administrator:数据治理中心服务的所有执行权限。 KMS Administrator:数据加密服务加密密钥的管理员权限。
数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名。
仅支持源端数据源为PostgreSQL时配置该参数。 数据库用户需要具有系统视图dba_tab_partitions和dba_tab_subpartitions的SELECT权限。 否 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。
KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。
数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名。
数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名。
枚举值: MYSQL:MYSQL数据源 DLI:DLI数据源 DWS:DWS数据源 HIVE:HIVE数据源 HBASE:HBASE数据源 connection_name 否 String 数据连接名称。 connection_id 否 String 数据连接ID。
数据源认证及其他功能配置 认证类型 是 使用连接串模式时,是必选项。 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 用户名 是 MRS集群的用户名。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
如attribute为数据源:base.DataAsset.sourceType,则值可为["dws", "hive"]。 condition 否 String 条件拼接准则。
KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。