检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ecution_exception。 继续定位发现记录几乎都写入到了一个分片中。至此问题清楚。是因为产生了热点。 解决方案 用户在迁移时有选择主键,也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键,让es自动生成_id, 这样获的hash值比较分散。
CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。
Manager用户、用户组和角色配置都正确,发现Hive版本配置的为HIVE_3_X。 由于MRS1.8.1集群hive版本为1.2.1,故应该选择hive_1_X。正确修改连接器配置,重新创建作业正常。 父主题: 故障处理类
员访问用户实例和含有密码信息的数据库。 CDM实例迁移以推拉模式进行,因此CDM实例在VPC上没有侦听端口,用户无法从VPC访问本地数据库或操作系统。 针对恶意用户的威胁:CDM对每个用户,使用单独的虚拟机来运行各自的CDM实例,用户之间的实例是完全隔离和安全的。恶意用户无法访问其他用户的实例。
需要抽取的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 fromJobConfig.isSplit 否 Boolean 选择是否拆分Rowkey,例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。
多租户模式下,确认其他租户的作业是否正常。 如果所有租户的作业执行spark sql都有问题,跳转3。 否则,跳转4。 进一步确认:用dlf建个脚本,选择直连连接,执行一条spark sql,看是否报time out的错(甚至可能数据库都list不出来)。如果有以上现象,大概率是MRS集群的jdbc
如果字符串仅包含Unicode字符或数字,返回布尔值true,否则返回false。例如“ab2c”中仅包含Unicode字符和数字,返回true。 表达式:StringUtils.isAlphanumeric(value) 如果字符串仅包含Unicode字符、数字或空格,返回布尔值true
对于MOR表来说,删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法: 在作业管理界面选择“更多-失败重试”,尝试重新执行Spark SQL。 通过DataArts Studio执行Spark SQL,设置执行参数或者调整SQL。
指定集群创建作业 在指定的CDM集群上创建数据迁移任务,作业不会启动。 1200次/min 随机集群创建作业并执行 在指定的CDM集群列表中,随机选择一个开机状态的集群,在该集群中创建作业并执行作业。 120次/min 查询作业 查询并显示作业列表。 120次/min 修改作业 修改作业的参数。
移作业。关于离线集成作业的更多介绍,请您参考离线集成作业概述。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 CDM服务基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。
recentEvent Integer 事件数。 isAutoOff Boolean 自动关机。 isScheduleBootOff Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启。 clusterMode String 集群模式:sharding(分片集群)。
publicEndpointStatus publicEndpointStatus object EIP状态信息。 isScheduleBootOff Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启。 namespace String 命名空间。 eipId String