检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者（表权限视图）（高级特性） 查看用户的权限（成员权限视图）（高级特性） 父主题： 数据安全
升级后需要管理员手工修改数据连接、配置环境隔离，并按照组织分工在工作空间处定义管理员、开发者、部署者、运维者等角色。 修改数据连接：请参考创建DataArts Studio数据连接。 配置环境隔离：请参考配置DataArts Studio企业模式环境隔离。 为其他用户定义工作空间角色：
jobName 是 String MRS作业名称。 用户自定义。 resourcePath 是 String 自定义Spark Jar包OBS资源路径。 parameters 是 String Spark Jar包自定义参数。 对于开发的自定义Jar包，可以在此处对参数进行输入替换。 input
索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 tinyInt1isBit=false或mysql.bool.type.transform=false：MySQL默认开启配置tinyInt1isBit=true
ClickHouse数据连接参数说明。 RDS 请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器，推荐使用RDS连接MySQL数据源，请参见RDS数据连接参数说明。
驱动程序名称 是 驱动程序名称： com.mysql.jdbc.Driver：连接RDS for MySQL或MySQL数据源时，选择此驱动程序名称。 org.postgresql.Driver：连接RDS for PostgreSQL或PostgreSQL数据源时，选择此驱动程序名称。 com
DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS Hudi作业配置
28752 / RDS（Postgresql） 4U32G（主备模式） Postgresql 13.12 128865 1351351（并发度：30） 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 （行/s） 多并发写入速率 （行/s） 云数据库 MySQL 8U 32G
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为CloudTable（仅华北-北京一支持）、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。
作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优 PostgreSQL到DWS参数调优
元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，可采集数据源中的技术元数据。支持自定义业务元模型，批量导入业务元数据，关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便
关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本：5.6、5.7、8.x版本。 Hudi建议使用版本：0.11.0。 消息系统：DMS Kafka MySQL同步到Kafka作业配置 MySQL数据库建议使用版本：5
表”的权限。 先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“统一身份认证”。 在左侧导航窗格中，单击“角色授权”>“创建自定义策略”。 输入“策略名称”。
NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
38位时，Hive按38位创建，s小于0时，按0创建，受Hive数据类型限制，此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型（MySQL） 数据类型（Hive） 说明 数值类型 tinyint(1)，bit(1) BOOLEAN - TINYINT
NoSQL：表格存储服务（CloudTable） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server 搜索：Elasticsearch，云搜索服务（CSS） 云数据库 PostgreSQL MySQL 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
修改脚本内容 功能介绍 本接口用以修改脚本的配置项或者脚本内容。 修改脚本时，需要指定待修改的脚本名称。 脚本名称和脚本类型不支持修改。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/scripts/{script_name}
表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本，获取mysql-connector-java-5.1.48.jar Oracle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
