检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 源端data的数据 图2 目的端data的数据 故障分析 RDS-Mysql和开源Mysql对于date类型的范围不一致。 开源Mysql的date范围一般为1000-01-0到9999-12-21,而RDS-Mysql支持date范围小于1000-01-0。
原因分析 打开日志,搜索insert into,找到如下的日志,根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队列资源强相关,在执行Hudi任务前,请确保租户队列资源充足。
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败。 解决方案 执行如下spark-sql语句修改hoodie.properties
问题分析 日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。 解决方案 如果源端网络不稳定,可以使用分片重试能力多次执行作业,可能需要调整作业配置。
在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。
问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
用户名:admin 密码:创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip(wsom标志),如下图所示。 返回创建MRS连接界面,输入查询到的IP,创建连接成功。 创建MRS数据源连接时,认证类型要与MRS集群是否开启KERBEROS保持一致。
图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。
解决方案 在作业设置中,源端配置中迁移的数据库表名应按照数据库中的名称填写或者通过搜索选择表名,问题解决。 父主题: 故障处理类
代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。