检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。
数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能，详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务，数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据，并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。
、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出，如有涉及，请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页，选
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
“使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 如果要迁移的表中没有Where子句的字段，迁移失败。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts
写入数据的表名。 car_detail 分区 用于抽取分区的信息。是否支持配置以界面实际为准。 year=2020,location=sun 父主题： 配置作业源端参数
配置HBase 源端参数 表1 Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据，但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
该参数表示抽取指定值的partition，属性名称为分区名称，属性值可以配置多个值（空格分隔），也可以配置为字段取值范围，接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，
选择“数据安全 > 脱敏策略”，在“脱敏策略”页面中，单击“新建”。 绑定分类规则，配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码，截断和哈希。每种脱敏算法对应多种算法类型，请根据产品界面进行选择，这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1
参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age > 18 and age <= 60），CDM只导出该SQL语句指定的数据；不配置时导出整表。 Where子句支持配置为时间宏变量，当数据表中有时间日期字段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设
参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age > 18 and age <= 60），CDM只导出该SQL语句指定的数据；不配置时导出整表。 Where子句支持配置为时间宏变量，当数据表中有时间日期字段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。 JSON格式
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
列资源、配置MRS队列属性（离线/实时）以及为指定的队列配置用户权限策略，另外工作空间管理员用户也可以为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系，队列权限策略实际上落在数据源配置中。因此，当删除当前工作空间的队列资源后，已配置的队列权
文件中的换行符，默认自动识别"\n"、"\r"或"\r\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。 \n 字段分隔符 文件格式为CSV格式时显示该参数。 文件中的字段分隔符。配置特殊字符需先url编码。 , 作业成功标识文件 标识文件名。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
