检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
value 是 String 属性值 表15 Hive SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称 database 否 String 数据库名称 MRS Hive中的数据库，默认default。 connectionName
MySQL整库迁移到RDS服务 操作场景 本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。 当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以
密钥(SK) - 数据集成配置 Hive版本 HIVE_3_X 适用组件勾选数据集成后，呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明： HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m
数据源为Hive时支持哪些数据格式？ 问题描述 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？ 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题： 数据集成（CDM作业）
confwhitelist配置 保存并重启Hive服务。 MRS节点优先级功能包含节点：MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Flink Job、MRS MapReduce。 要想hive的优先级生效，请联系运维工程师打开MRS Hive优先级配置项的开关。
目的端优化 DWS写入优化。 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图2 添加高级属性 表3 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY
API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值。代理连接不支持。 单击右上角的，设置相关脚本的环境变量。举例如下所示： 设置Hive SQL脚本的环境变量： --hiveconf hive.merge.mapfiles=true; --hiveconf mapred
Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何进行配置？ 解决方案 修改Migration实时集成作业配置。 Migration任务中必须关闭异步compaction动作，同时将clean和arc
名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ 问题描述 MySQL到DWS链路 ，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段，如果该字段在MySQL中出现null值那么，写入到DWS中将会报错，报错信息如下：
rtex_user_rds2hive”。 vertex_user_rds2obs（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_user_rds2obs”。 edge_friends_rds2hive（CDM Job节点）
√ √ √ × √ × 云数据库 RDS（云数据库MySQL） √ √ √ √ √ √ × 云数据库 RDS（云数据库PostgreSQL） √ √ √ √ √ × × 云数据库 RDS（云数据库SQL Server） √ × × √ × × × MySQL √ √ × × √ √
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群
配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语
企业版：基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1：流程设计 步骤2：数据准备 步骤3：数据集成 步骤4：元数据采集 步骤5：数据架构设计 步骤6：数据开发处理 步骤7：数据质量监控 步骤8：数据资产查看 步骤9：服务退订
迁移到MRS Hive中。 图27 vertex_user_rds2hive作业运行成功 参考2到4，完成vertex_movie_rds2hive、edge_friends_rds2hive和edge_rate_rds2hive作业的创建，将4张原始表从MySQL标准化到MRS
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 可能原因 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题： 检查CDM集群是否被关机。 是，将CDM集群开机后，确认管理中心的数据连接恢复正常。
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
