检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标端对应类型的字段中。 字段映射配置：选择字段映射关系、设置字段批量映射规则。 字段映射关系 同名映射：对字段名称相同的字段进行映射。使用已有数据进行相同列名的字段自动映射。 同行映射：源表和目标表的字段名称不一致，但字段对应相同行的数据进行映射。查询源端和目的端的字段，再进行相同行的字段自动映射。
按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员
checkpoint 的间隔。 刷新源表和目标表映射，检查映射关系是否正确。 表8 源表与目标表映射 同步场景 配置方式 整库 支持用户根据实际需求修改映射后的目的端Topic名称，可以配置为一对一、多对一的映射关系。 图9 整库场景下源表与目标表映射 分库分表 默认使用源端配置的逻辑表名作为目的端的Topic名称。
码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有： 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 码表管理 数据标准
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${ti
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${ti
DM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时，hosts文件中的自映射配置为： 10
创建一个数据开发模块空作业，作业名称为“job_hive_sql”。 图2 创建job_hive_sql作业 然后进入到作业开发页面，拖动MRS Hive SQL节点到画布中并单击，配置节点的属性。 图3 配置MRS Hive SQL节点属性 关键属性说明： 节点名称：默认显示为SQ
cdm 密码 用户名密码。 - 使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开
过名称后缀进行区分。 特别的，对于DWS、MRS Hive和MRS Spark数据源，如果使用一套相同的集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离。 数据准备与同步： 数据湖服务创建完成后，您需要按照项目规划（例如数据开发需要操作的库表等），分别在开发
的地址指向本地IDC数据库的公网IP（例如14.x.x.x/32），下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 本地IDC的防火墙设置。 本地IDC的防火墙需要放通弹性公网IP（例如100.x.x.x/32）的访问，使得Migration可以正常访问本地IDC自建数据库。
哪些端口可满足Migration访问？进行安全组规则端口配置。 （可选）本地IDC配置VPN对端网关设备。 本地IDC网络采用不同类型的防火墙或主机，可参考《虚拟专用网络快速入门》中的配置对端设备章节实现本地IDC数据库所在网络和华为云Migration资源组VPC网段（例如172
JOIN条件 字段映射 为来源于当前映射的字段，依次选择一个含义相同的源字段。如果表字段来源于多个模型，您需要新建多个映射，每个映射中，您只需要为来源于当前映射的字段设置源字段，其他字段可以不设置。 在映射区域的右上角，单击按钮，可以删除指定的映射，单击可以收起映射区域。 （可选）
于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。
可自定义operation超时时间（单位ms）。 Apache Hive Apache Hive连接适用于用户在本地数据中心或ECS上自建的第三方Hadoop，其中本地数据中心的Hadoop需通过专线连接。 Apache Hive的连接参数如表3所示。 表3 Apache Hive连接参数
和高效，同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排，简化开发工作： 对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API：使用API编排后，可以降低调用次数，减少集成成本，提升调用效率。 约束与限制
igration访问？进行安全组规则端口配置。 （可选）本地IDC添加路由。 本地IDC需要添加路由，目的地址指向Migration资源组VPC网段（例如172.16.0.0/19），导向华为侧网关，添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。 为了允许云专线访问
Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在管理中心页面，单击“数据源资源映射配置”，进入数据源资源映射配置页面。 图1 数据源资源映射配置 单击“DB配置”下的“添加”，然后分别配置开发环境数据库名和生产环境数据库名，完成后单击“保存”。通过和可以进行编辑和删除操作。
名称，请修改后再重新上传。 导出维度 可通过导出的方式将维度导出到本地。 在维度页面，单击“更多 > 导出”，即可将系统中的维度导出到本地。 导入/导出事实表 导入事实表 可通过导入的方式将事实表批量快速的导入到系统中。 在事实表上方，单击“更多 > 导入”，进入“导入配置”页签。
单击“数据标准稽核”，进行数据标准稽核。 操作 相关操作按钮。 在“映射配置”页签，单击“新建映射”，创建维度的映射（映射是指维度与物理模型源表的映射）。需配置如下参数： 图3 映射配置 表4 映射参数 参数名称 说明 *映射名称 只能包含中文、英文字母、数字和下划线。 *来源模型 在下
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
