检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题
出错误的一种,即线程栈的溢出,方法调用层次过多(比如存在无限递归调用)或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题,主要涉及参数为mapreduce.map.java.opts(调整map的栈内存)和mapreduce
输出显示了在审计日志中添加了ZooKeeper客户端用户“zkcli/hadoop.hadoop.com@HADOOP.COM”的日志。 ZooKeeper中的用户详情: 在ZooKeeper中,不同的认证方案使用不同的凭证作为用户。 基于认证供应商的要求,任何参数都可以被认为是用户。 示例: SAMLAu
Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。
YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。
HetuEngine提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个HetuEngine工程。 导入并配置HetuEngine样例工程 根据场景开发工程 提供了Java语言的样例工程,包括连接HetuEngine、SQL语句执行、结果解析,断开连接等全流程的样例工程。
eeper连接。 执行该命令会导致数据丢失,请谨慎操作。 执行hdfs dfs -rm -f -r /user/hbase/backup删除临时数据。 登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,
eeper连接。 执行该命令会导致数据丢失,请谨慎操作。 执行hdfs dfs -rm -f -r /user/hbase/backup删除临时数据。 登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,
发布时间 2020-07-06 解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS
9.3.1补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
算资源、存储资源和关联服务;为租户添加用户,并为用户绑定需要的角色。 创建一级租户的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据
MRS 3.1.0.0.16补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
MRS 3.3.0.3.1补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
表1 补丁基本信息 补丁号 MRS 1.8.10.1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务,重启服务期间会引起服务暂时不可用。
1.0.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OPTS_HDFS”的值,例如修改为“Xmx512m”。 保存文件。 执行以下命令重新加载环境变量。
MRS集群反复上报43006告警 用户问题 集群反复出现“ALM-43006 JobHistory进程堆内存使用超出阈值”告警,且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。 原因分析
参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose
长度:配置字段长度,字段值太长则按配置的长度截取,类型为“CHAR”时实际长度不足则空格补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将每行数据按照指定的分隔符,分隔成多个字段,供之后的转换算子使用。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。