检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
$HADOOP_HOME/bin/hdfs dfs -put hadoop-x.tar.gz /mapred/framework/ 执行以下命令,根据表1,对“客户端安装路径/Yarn/config/mapred-site.xml”文件中的参数进行设置。 vi 客户端安装路径/Yarn/config/mapred-site
为“-Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,堆内存可以相对设置大一些。 根据机器的内存大小设置“-Xmx”大小:机器内存>200G,“-Xmx”设置为32G;128G<机器内存<200G,“-Xmx”设置为16G;
2021-03-22_12-00-07.gz vi ha.log.2021-03-22_12-00-07 查看日志中,告警时间点前后是否有报错信息。 是,根据相关报错信息进行处理。然后执行13。 例如,查询出报错信息如下,表示目录权限不足,则请修改对应目录权限与正常节点保持一致。 否,执行14。
警上报的任务名。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 对于批量数据清理,建议根据分区来操作: ALTER TABLE table_name DROP PARTITION partition_name; 禁止修改索引列
<DEFAULT_PARTITION> 查看MapReduce日志获取应用运行情况。 您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大,并单击“保存”,保存完成后重启角色实例。 重启主ResourceManager实例,会发生ResourceManager实例
警上报的任务名。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn原生页面上查看到作业日志。 图1
警上报的任务名。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
在单个父目录中创建大量的znode后,当客户端尝试在单个请求中获取所有子节点时,服务端将无法返回,因为结果将超出可存储在znode上的数据的最大长度。 为了避免这个问题,应该根据客户端应用的实际情况将“jute.maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性
MethodNotAllowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not Acceptable 服务器无法根据客户端请求的内容特性完成请求。 407 Proxy Authentication Required 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。
在单个父目录中创建大量的znode后,当客户端尝试在单个请求中获取所有子节点时,服务端将无法返回,因为结果将超出可存储在znode上的数据的最大长度。 为了避免这个问题,应该根据客户端应用的实际情况将“jute.maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性
WebUI界面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Add New Policy”,添加Kafka权限控制策略。 根据业务需求配置相关参数。 表1 Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions
升级过程中集群会自动关闭升级的虚拟机,升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同,节点规格升级成功后不会自动更新组件内存配置,用户可根据实际使用情况自行调整各组件内存配置。 集群Master节点规格升级(分步升级) Master节点规格升级前准备 登录MRS管理控制台。 选择
ster&createflag=&createparent=true&overwrite=false Content-Length: 0 根据获取的Location地址信息,可在HDFS文件系统上创建“/huawei/testHdfs”文件,并将本地“testFile”中的内容上传至“testHdfs”文件。
WebUI界面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Add New Policy”,添加Kafka权限控制策略。 根据业务需求配置相关参数。 表1 Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions
切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度)导致写入命令阻塞。 用户应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。 时间序列 时间序列是IoTDB中的核心概念。时间序列可以被看作
需要所有的ISR列表副本,且满足最小成功的副本数确认写入成功。当分区的一个副本所在节点故障时,无法满足最小成功的副本数,那么将会导致业务写入失败。 配置影响 请根据业务场景对可靠性和性能要求进行评估,采用合理参数配置。 对于价值数据,两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若用户根据业务场景修改过客户端配置,请在重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明