检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何进行配置？ 解决方案 修改Migration实时集成作业配置。 Migration任务中必须关闭异步compaction动作，同时将clean和arc
GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job DLI SQL DLI Spark DWS SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python
MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ 问题描述 MySQL到DWS链路 ，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段，如果该字段在MySQL中出现null值那么，写入到DWS中将会报错，报错信息如下：
签，然后设置筛选条件，例如选中连接“mrs_hive_link”，以及选中“Table”，将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称，即可查看详情信息。 图8 元数据详情 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
配置MySQL源端参数 支持从MySQL导出数据。 表1 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
DataArts Studio支持连接哪些数据源？ DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。 DataArts Studi
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？ 问题描述 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时
DataArts Studio服务后不会再产生API调用，您也可以直接删除发布到APIG网关上的API。 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
MySQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数
数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录，包括时间、用户、操作对象、操作类型等信息。通过这些日志，可以快速进行数据操作审计，更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计，需要满足如下条件： MRS Hive数据连接中选择Agent代理的CDM集群为2
管理资源 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，
Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），通过直连方式的（MRS Spark SQL、MRS Hive SQL）节点，以及目标端为DWS的ETL Job节点，解决部分MRS集群和部分ETL
型”为“RDS”，并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器，推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。 图2 RDS连接配置参数 表1 RDS数据连接
CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。 清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。
CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。 针对DECIMAL类型，源端数据源长度超过Hive长度可能导致精度丢失。
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
Hadoop：MRS HDFS，MRS HBase，MRS Hive 对象存储：对象存储服务（OBS） 关系型数据库：云数据库 MySQL，云数据库 PostgreSQL，云数据库 SQL Server，MySQL，PostgreSQL，Microsoft SQL Server，Oracle
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
