检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“实时网络连接”页签中单击“新建”，在弹出的“新建网络连接”对话框输入对应参数，配置参数如下表所示： 表2 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组，可以在网络连接创建好后再绑定资源
限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。
支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
成预览后单击“确定”返回关系模型的列表页面。 图2 关系模型列表2 在表的列表中，单击表名称进入表详情页面，可以查看表的详情、关系图、发布历史和审核历史。 图3 关系图 查看发布历史 表发布后，您可以查看表的发布历史、版本对比和发布日志。如果表发布失败，或者数据目录、数据质量同步
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
量”。 说明： 表名支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。例如： table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串，就全部导出。
备在数据开发组件中SQL脚本执行结果的转储以及在下载中心下载操作权限（即已被授予DataArts Studio权限并被添加为对应工作空间角色，详见授权用户使用DataArts Studio），且已在数据开发中通过配置“数据导出策略”默认项允许授权对象进行数据导出（详见配置默认项）
Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1
这里的连接器类型，是根据待连接的数据源类型分类的，包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后，单击“下一步”配置连接参数，这里以创建MySQL连接为例。 每种数据源的连接参数不同，您可以根据所选择的连接器类型在表1中查找对应参数。 表1 连接参数分类 连接器类型 参数说明
rmat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。 参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。 父主题： 增量迁移原理介绍
rmat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。 参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。 父主题： 增量迁移原理介绍
选择需要和资源组进行网络打通的虚拟私有云。 本方案中，资源组网段与中转VPC之间通过对等连接连通网络，因此必须选择中转VPC和子网。 子网 中转VPC的子网。 路由表 子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。 为网络连接绑定资源组，实际
管理”，选择集群后的“作业管理”。 选择“表/文件迁移 > 新建作业”，进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接： 作业名称：用户自定义任务名称，名称由中文、数字、字母、中划线、下划线、点号，且首字符不能是中划线或点号组成，长度必须在1到240个字符
建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式：
输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
Studio与其他云服务处于不同区域的情况下，需要通过公网或者专线打通网络；而在同区域情况下，同子网、同安全组的不同实例默认网络互通。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ DataArts Studio实例中的数据集成CDM集群所在可用区。DataArts
设置数据标准 事实表字段单个关联质量规则 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 单击“事实表”页签，进入事实表页面。 在事实表列表中，单击需要关联质量规则的事实表名称。 在事实表的详情页的表字段列表中，单击，配置单个表字段关联质量规则。 图11 事实表单个字段关联质量规则
导出码表 Excel导出码表时，码表名称需要限制在32个字符以内。 在数据架构控制台，单击左侧导航树中的“码表管理”，进入码表管理页面。 导出码表。 导出码表 在码表列表中，选中所需导出的码表，然后单击“更多 > 导出”。 图10 码表列表 导出码表目录中的所有表 在码表目录树中，选中
user 否 String 开启Kafka SASL_SSL时显示该参数，表示连接DMS Kafka的用户名。 linkConfig.password 否 String 开启Kafka SASL_SSL时显示该参数，表示连接DMS Kafka的密码。 父主题： 连接参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
