检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导出到CSV格式的文件中，然后再使用CDM将导出的CSV文件导入到MRS HBase，发现导出的CSV文件中出现了数据被截断的情况。 解决方法：指定换行符。 在使用CDM将MySQL的表数据导出到CSV文
支持的数据源 03 入门 介绍云数据迁移（Cloud Data Migration，以下简称CDM）的基础使用方法，通过使用CDM迁移本地MySQL数据库中的表，写入到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务。 登录云服务器 快速入门场景介绍 初始化数据盘 什么是ECS
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时，目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。
常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变
HH:mm:ss, -1, DAY)}', 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句，用于优化Hive表查询速度。 执行的SQL如下： 非分区表：ANALYZE TABLE tablename COMPUTE STATISTICS 分区表：ANALYZE
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E
CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题： “请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。” 故障分析 查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。 从结果看考虑
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。 报错：java.lang.IllegalArgumentException。
管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称
作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支
该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E
通过json方式导入的作业，sql server迁移到hive，执行作业报错 问题描述 客户通过json的方式导入作业，从sql server迁移数据到hive，执行作业报：操作数数据类型bit 对min 运算无效。 图1 报错信息 故障分析 客户作业中配置的并发数大于1，CDM
中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题：
'${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时，对于时间的判断可以写成以下两种： _timestamp >= '2018-10-10 00:00:00' and _timestamp
模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为关系数据库时，才有该参数。表示写入表数据时，用户选择的操作： 不自动创建：不自动建表。 不存在时创建：当目的端的数据库没有“表名”参数中指定的
support auto create empty table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。 例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？ 问题描述 读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
