检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警”查看是否存在告警“ALM-14001 HDFS磁盘空间使用率超过阈值”或“ALM-14002 DataNode磁盘空间使用率超过阈值”。 是,执行5。 否,执行7。 参考ALM-14001 HDFS磁盘空间使用率超过阈值或ALM-14002 DataNode磁盘空间使用率超过阈值进行处理,查看对应告警是否清除。
待操作集群的名称 > 服务 > HDFS > 实例”,查看主NameNode节点的业务IP地址。 以root用户登录主NameNode节点,用户密码为安装前用户自定义,请咨询系统管理员。 使用ping命令检查主NameNode与该JournalNode之间的网络状况,是否有超时或者网络不可达的情况。
所有队列都不需要上报告警:登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索并修改“alarm.resource.lack.enable”参数值为“false”,保存配置。 仅部分队列需要上报告警:登录FusionInsight
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop
directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
driver.memory”配置项或者“spark-env.sh”中的“SPARK_DRIVER_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Execut
Spark作业访问OBS报错,错误信息如下,如何处理? xxx requestId=4971883851071737250 xxx 答: 登录Spark客户端节点,进入conf目录,修改配置文件“core-site.xml”中的“fs.obs.metrics.switch”参数值为“false”。
directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以FusionInsight的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
/component_env Hadoop组件的环境变量位置:/opt/client/HDFS/component_env Hadoop客户端路径:/opt/client/HDFS/hadoop 父主题: 组件配置类
导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop
Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看该告警的主机名称和网卡名称。 检查网卡是否配置了主备bond模式。 以omm用户登录告警所在节点,执行ls -l /proc/net/bonding命令,查看该节点是否存在“/proc/net/bonding”目录。 是,
检查本告警是否清除。 是,处理完毕。 否,执行6。 检查系统中是否有不需要的文件。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source bigdata_env命令设置环境变量。 如果集群采用安全版本,要进行安全认证。
解决方法 运行Spark作业前,调整hbase.client.scanner.timeout.period参数(例如从60秒调高到120秒)。 登录Manage界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索参数“hbase.client.scanner.timeout
设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源的时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 安全模式集群中,支持使用Ranger鉴权的组件包括:HD
下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径,如“$SPARK_HOME/lib/streamingClient/*”。
调测Alluxio应用 Alluxio客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包,在工程目录target目录下获取,比如:alluxio-examples-mrs-1.9-jar-with-dependencies.jar。