检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
savepoint的rollback与commit rollback相同,都必须从最新的instant逐个向前rollback。 MRS 3.1.2版本:MoR表暂时不支持savepoint。 父主题: Hudi数据管理维护
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Stre
使用rangeradmin用户(默认密码为Rangeradmin@123)或者其他具有Ranger管理员权限用户重新登录。用户及默认密码请参考用户信息一览表。 父主题: Ranger常见问题
MRS 1.8.7.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.8.7.1 发布时间 2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Stre
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段?
在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“数据源”,在数据源列表中可以查看数据源名称、数据源描述、数据源类型和创建时间等信息,在“操作”列下也可以编辑和删除数据源。 HetuEngine服务在安装时已经将
两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“privacy”表示加密,“authentication”表示不加密。 可登录FusionInsight Manager界面,选择“集群 > 服务 > HDFS > 配置”,搜索hadoop
printStackTrace(); } } } } } 上述代码中各参数说明如表1所示: 表1 参数及参数说明 参数名称 参数说明 url jdbc:XXX://HSFabric1_IP:HSFabric1_Port,HSFa
veServer实例: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”。 在Hive实例列表中选择需要设置租约隔离的HiveServer,选择“实例配置 > 全部配置”。 在“全部配置”界面的右上角搜索“hive.server2.zookeeper
install.sh upgrade & 通过tail -f nohup.out查看执行情况(打印“upgrade patch success.”表示执行完成)。 扩容节点安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar
Yarn集群中的所有NodeManager节点异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否有“ALM-13000 ZooKeeper服务不可用”产生。 是,执行1.c。 否,执行2.b。 参考ALM-13000 ZooKeeper服务不可用(2
HBase常见问题 结束BulkLoad客户端程序导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时,报错“java.lang
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Stre
用户场景 当集群数据量变化不大而集群业务处理能力需求变化比较大,临时需要增大业务量时,可选择添加Task节点。 临时业务量增大,如年底报表处理。 需要在短时间内处理大量的任务,如一些紧急分析任务。 父主题: 集群管理
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、DataNode等的RPC请求,表现为访问HDFS服务的业务运行缓慢,严重时会导致HDFS服务不可用。 可能原因 NameNode节点的CPU性能不足,导致NameNode无法及时处理消息。
通过ECS访问FusionInsight Manager 登录MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云
printStackTrace(); } } } } } 上述代码中各参数说明如表1所示: 表1 参数及参数说明 参数名称 参数说明 url jdbc:xxx://HSBroker1_IP:HSBroker1_Port,HSBr
查看告警信息里的主机名是否和1.b主机名一致。 是,执行1.e。 否,执行2.a。 按ALM-12006 节点故障提供的步骤处理该告警。 在告警列表中查看“ALM-25000 LdapServer服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 检查LdapServer进程是否正常。
例如:如果CSV数据类似“2010\\10,test”,将这两列插入“String,int”类型时,因为“test”无法转换为int类型,表会将这条记录重定向到Bad Records中。但记录到Bad Records中的值为“2010\10”,Java会将原始数据中的“\\”转义为“\”。