检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1 ，重跑作业问题解决。 父主题： 故障处理类
如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。 如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失败分片（比如配置了100个分片，上次执行到50个分片报错，则单击失败重试后，仅会执行剩余50个分片）。 如且源端非分区表，作业未配置分片数
string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功，因为
（或让客户提供作业日志，或客户界面导出全量日志）。 分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题. 在CDM作业中配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
table将表从metastore中删除，然后作业配置 “不存在时创建”重跑作业。或者删除后自己执行建表语句重建一个Hudi表。 对于MOR表来说，删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法： 在作业管理界面选择“更多-失败重试”，尝试重新执行Spark
是否为整库迁移。 fromJobConfig.keyPrefix 是 String key前缀，对应关系表的表名。 Redis和关系表的映射：用关系表的“表名+分隔符”来对应Redis的Key；关系表的一行数据对应Redis的Value。 fromJobConfig.keySeparator
权限管理 如果您需要对CDM集群，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制云资源的访问。
区域和可用区 什么是区域、可用区？ 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
需要抽取数据的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。 toJobConfig.rowKeyColumn 是 String 作为rowkey的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。
_id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id，则只能建议用性能更好的ES集群。 父主题： 故障处理类
推荐使用方法1，下面以HBase导到DWS为例进行说明。 解决方法一：CDM的字段映射界面增加字段 获取源端HBase待迁移的表中所有的字段，列族与列之间用“:”分隔，例如： rowkey:rowkey g:DAY_COUNT g:CATEGORY_ID g:CATEGORY_NAME g:FIND_TIME
String 抽取数据所属的列族。 fromJobConfig.columns 否 String 需要抽取的列，列号之间使用“&”分割，列族与列之间用“:”分隔，例如：“cf1:c1&cf2:c2”。 fromJobConfig.isSplit 否 Boolean 选择是否拆分Rowkey，例如“true”。
集群上所有请求产生的计费话单里都会带上这些标签，从而可以针对话单报表做分类筛选，进行更详细的成本分析。例如：某个集群作用于A部门，我们可以用该部门名称作为标签，设置到被使用的集群上。在分析话单时，就可以通过该部门名称的标签来分析此部门的开发使用成本。 CDM以键值对的形式来描述标
否则跳转2。 多租户模式下，确认其他租户的作业是否正常。 如果所有租户的作业执行spark sql都有问题，跳转3。 否则，跳转4。 进一步确认：用dlf建个脚本，选择直连连接，执行一条spark sql，看是否报time out的错（甚至可能数据库都list不出来）。如果有以上现象，大概率是MRS集群的jdbc
无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 - 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts
、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 通配符 目录过滤器 “过滤类型”选择“通配符”、“正则表达式”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 说明： 如果配置了时间宏变量，通过DataArts
"\\t","")（即把 \ 再次转义）。 如果当前字段为字符串类型，一次替换字符串中的多个字符，例如将字符串“hello”中的“h”用“j”替换，“o”用“y”替换，转换后为“jelly”。 表达式：StringUtils.replaceChars(value,"ho","jy")
"\\t","")（即把 \ 再次转义）。 如果当前字段为字符串类型，一次替换字符串中的多个字符，例如将字符串“hello”中的“h”用“j”替换，“o”用“y”替换，转换后为“jelly”。 表达式：StringUtils.replaceChars(value,"ho","jy")
"\\t","")（即把 \ 再次转义）。 如果当前字段为字符串类型，一次替换字符串中的多个字符，例如将字符串“hello”中的“h”用“j”替换，“o”用“y”替换，转换后为“jelly”。 表达式：StringUtils.replaceChars(value,"ho","jy")
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
