检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
ch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： EveryHour：每小时整点创建新索引，新索引的命名格式为“索引名+年+月+日+小时”，例如“index2018121709”。 EveryDay：每天零点零分创建新索引，新索引的命名格式为
icsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： 每小时：每小时整点创建新索引，新索引的命名格式为“索引名+年+月+日+小时”，例如“index2018121709”。 每天：每天零点零分创建新索引，新索引的命名格式为“索引名+年
创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。
rand(); 使用DataArts Studio API方式提交Spark SQL，调大executor内存。 排查是否有其他连接在同时写hudi表，如果有，将连接停止，然后CDM作业失败重试。 父主题： 故障处理类
次数据。 CDM不支持实时迁移，但是支持定时迁移，用户10分钟就会有批量数据更新，考虑是迁移任务没有完成，源库已经更新，回滚超时。 Oracle报错ORA-01555，数据迁移如果做整表查询，并且查询时间较长时，这个过程有其他用户进行频繁commit操作，Oracle的RBS还比
如何备份CDM作业？ 问题描述 如何备份CDM作业？ 解决方案 用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 功能类
如何查看套餐包的剩余时长？ 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题： 通用类
KEY或UNIQUE索引值）的新输入的行。 约束冲突处理配置为"replace into"或"local"，使用REPLACE，与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert into"，默认使用IGNORE，与唯一键值上的现有行重复的新行将被丢弃，任务不
CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于审计，用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用CDM服务时，如
SS） Microsoft SQL Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
脏数据导致CSV数据类型问题插入MySQL报错 问题描述 客户作业失败，提示invalid utf-8 charater string '' 故障分析 根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。
Server时，作业运行失败，错误提示为：Unable to execute the SQL statement. Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。
迁移。 Microsoft SQL Server建议使用的版本：2005以上。 金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 云数据库 SQL Server 数据仓库：数据仓库服务（DWS）
移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts Studio管理中心连接代理时，建议各配置至少一个CDM集群。 待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前CDM集群
导入数据到HDFS时，支持设置压缩格式。 参见配置HDFS目的端参数。 MRS HBase CloudTable 支持导入数据到HBase，创建新HBase表时支持设置压缩算法。 参见配置HBase/CloudTable目的端参数。 MRS Hive 支持快速导入数据到MRS的Hive。
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码： 200 表3 响应Body参数
如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。 父主题： 车联网大数据零丢失搬迁入湖
isRowkeyRedundancy 否 Boolean 是否将选做Rowkey的数据同时写入HBase的列。 toJobConfig.algorithm 否 枚举 创建新HBase表时采用的压缩算法，支持SNAPPY和GZ算法，默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean
ault/table_20180811”表为例，恢复步骤如下： 进入MRS Client所在的节点，例如master1节点。 切换为omm用户。 su – omm 加载环境变量。 source /opt/client/bigdata_env 执行修改目录权限命令。 hdfs dfs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
