检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。 262144 父主题: HDFS性能调优
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Upgrade Observation Period (Days) 进入升级观察期的时间(天)。 对系统的影响 升级观察期禁止对用户、实例、角色、服务、主机、资
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/t
tions并在IoTDBSource中实现抽象方法convert(),convert()定义了您希望如何转换行数据。 其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
base-example/src/main/resources/hadoop1Domain,可根据需要进行变更。 [3]依次初始化conf对象。 [4]进行登录认证。 初始化配置 private static Configuration init(String confDirectoryName)
nt.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。 在IoTDBSessionPool对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight
选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/t
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack,以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.2补丁包中包含MRS
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。
1.5及其之后版本支持。 对比项 节点组维度 资源池维度 弹性伸缩对象 Task节点组内的所有节点 弹性伸缩策略指定资源池内的Task节点 扩容节点资源池归属 default资源池 弹性伸缩策略指定资源池 缩容对象 Task节点组内随机缩容 弹性伸缩策略指定资源池内随机缩容 前提条件
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例GC时间过长,导致TokenServer响应缓慢,业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
ta/client”目录并解压。 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-xxx.jar”,具体MySQL jdbc驱动程序选择参见下表。
--conf spark.shuffle.service.enabled false true 调整Spark调度参数优化OBS场景下Spark调度时延 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark