检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中，您可以新建SDI层和DWI层两个模型，模型最终是通过物理建模进行落地的。除了将逻辑模型转换外为物理模型外，您也可以参考本章节直接新建一个物理模型。
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时，源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
在详情页面，选择“日志信息”，在左侧日志列表中单击具体日志文件，即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新，可在右上角去掉勾选“日志滚动”选项。 支持下载日志到本地，可单击右上角文件下载按钮进行下载。 父主题： 实时集成任务运维
移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5
管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。 （可选）创建DLI环境隔离 仅Serverless服务（当前即DLI）需要配置环境隔离。
值为空串的非空列。 解决方案 1. 修改源端DDL语句，新增列的默认值设置为非空字符串。 2. 如果无法修改DDL，则需要将DWS的数据库更换为mysql兼容模式，建库语句如：create database bigdata with encoding 'UTF-8' dbcompatibility
P就是MRS Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节，如果登录的是非主Master节点无法查询，请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射
下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5.1.48版本。 PostgreSQL驱动：获取地址https://mvnrepository.com/artifact/org
期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
不会同步FI Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作步骤如下所示： MRS安全集群Ranger组件默认同步LDAP用户，默认情况下无需额外操作。如果默认配置被修改，也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。
跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口，https是443，http是80。 443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL >Hudi支持的字段类型
执行SQL语句失败，系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
Ranger权限访问控制 配置资源权限 查看权限报告 父主题： 统一权限治理
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
