检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
rent -server -XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项,以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M -
本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。
to role admin (state=08S01,code=1) 原因分析 当前登录的用户不具有Hive的admin角色的权限。 解决方案 登录Manager。 MRS 3.x之前版本,执行7。 MRS 3.x及之后版本,选择“集群 > 服务 > Hive”,在服务“概览”页
据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储在HDFS:数据存储和计算不分离,集群成本较高,计算性能高,但存储量受磁盘空间限制,删
pc 0x00007fcda9eb8eb1 回答 上述问题在Oracle官网上有类似的情况,该问题现象是Oracle JVM的缺陷,并不是平台代码引入的问题,且Spark中有对Executor的容错机制,Executor Crash之后,Stage会进入重试,可以保证任务最终可以执行完成,不会对业务产生影响。
MRS集群规划 业务选型 MRS集群部署说明
HetuEngine > 概览”,单击“HSConsole WebUI”的HSConsole链接进入计算实例界面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景删除如下自定义配置并保存。 名称 值 参数文件 说明 implicit-conversion
计费类 创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
park SQL样例程序。 增强特性 对比开源社区,华为还提供了两个增强特性,JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServerHA方案,多个JDBCServer主节点同时提供服务,当其中一个节点发生故障时,新的客户端连接会分配到其他主节
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
pc 0x00007fcda9eb8eb1 回答 上述问题在Oracle官网上有类似的情况,该问题现象是Oracle JVM的缺陷,并不是平台代码引入的问题,且Spark中有对Executor的容错机制,Executor Crash之后,Stage会进入重试,可以保证任务最终可以执行完成,不会对业务产生影响。
设置用于CarbonData查询的Executor个数、CPU核数以及内存大小。 如何调优 在银行方案中,为每个执行器提供4个CPU内核和15GB内存,可以获得良好的性能。这2个值并不意味着越多越好,在资源有限的情况下,需要正确配置。例如,在银行方案中,每个节点有足够的32个CPU核,而只有64GB的内存,这个内
设置ZNODE数据 HetuEngine审计日志 作业管理 添加外部数据源 删除外部数据源 修改外部数据源 创建计算实例 启动计算实例 停止计算实例 删除计算实例 查询计算实例 修改计算实例配置 MRS的审计日志保存在数据库中,可通过“审计管理”页面查看及导出审计日志。 组件审计日志的文件
云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍 05:07 MRS集群存算分离方案介绍 MapReduce服务 MRS MRS集群用户权限管理介绍 07:06 MRS集群用户权限管理介绍 MapReduce服务
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
Manager新增运维通道功能。 MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 Kafka组件问题 KAFKA-5413 Kafka日志清理失败:segment文件offset跨度过大。 KAFKA-6529
HetuEngine计算实例运行日志相关参数: log.clean.task.enabled:是否开启计算实例日志自动定时清理。 log.clean.task.expire-time.day:计算实例日志归档在HDFS的过期时间,默认值:30天。 log.max-history:计算实例日志在本地的最大保留时间,默认值:7天。
HetuEngine > 概览”,单击“HSConsole WebUI”的HSConsole链接进入计算实例界面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景添加如下自定义配置并保存。 名称 值 参数文件 说明 implicit-conversion