检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"k") 从字符串中指定的位置往后查找，获取指定字符串的第一个索引，没有则转换为“-1”。例如“aabaabaa”中索引3的后面，第一个“b”的索引是5。 表达式：StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引，没有则返
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签（对于CDM而言，标签作用于其集群上），各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个
string："false"怎么处理？ 问题描述 MySql-TO-DLI迁移报错，java.lang.NumberFormatException：For input string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转
这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度，一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时，就会出现错误：value too long for type
with no column”怎么处理？ 问题描述 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。
not equal to the table schema”。 原因分析 从metastore中删了表，但是文件没有清空，表的目录文件存在导致的，可能建的是外表。 解决方案 将表目录清空，再重新执行作业。 父主题： 故障处理类
Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？ 问题描述 作业执行过程中，由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。 问题分析 日志中出现源端的read timeout报错，或者terminate by xxx之类的报错。
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。 报错：java.lang.IllegalArgumentException。
转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Java的字符串和时间格式函
Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ 问题描述 CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark
单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题：
迁移数据到DLI时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1
作业从旧集群导出，再导入到新的集群失败怎么解决？ 问题描述 旧CDM集群是2.6.0版本，新集群是2.8.6.1版本，导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的，通过查看老集群导出的作业json文件，包含throttlingConfig.con
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ 问题描述： 作业日志报错Read time out，日志如下： 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式，跳转3。 否则跳转2。 多租户模式下，确认其他租户的作业是否正常。
Hudi源端的作业长时间处于BOOTING状态怎么解决？ 问题描述 在Hudi源端读Hudi作业长时间处于BOOTING状态。 原因分析 除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。
导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源，
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m 如图所示： 父主题：
继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键，也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键，让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id，则只能建议用性能更好的ES集群。
HDFS连接报错get filesystem怎么解决？ 问题描述 创建FusionInsight HDFS数据连接时，测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误，正确的ip使用的是集群的一个浮动ip，端口使用HDFS的webui的端口即可解决。 父主题： 故障处理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
