检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
告警级别 是否自动清除 18019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 MapReduce
/start-balancer.sh -threshold 10 其中“/opt/client”是实际的客户端安装目录。 针对新写入数据,将客户端安装在没有安装DataNode的节点。 父主题: 使用HDFS
Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session
Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session
Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session
如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline? 连接ClickHouse服务端异常报错“code:
通过后台日志看到一些Java安全随机数的日志,在JDK中,SecureRandom算法底层依赖操作系统提供的随机数据;在Linux中,与之相关的是“/dev/random”和“/dev/urandom”。当熵池为空时,来自“/dev/random”的读操作将被阻塞,直到熵池收集到足够的环境噪声数据,导致提交任务慢或者失败。
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments
管控面提交Flink任务时launcher-job因heap size不足被Yarn终止如何处理? 解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修改“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager进程的垃圾回收时间过长,可能影响该
最大内存的95%)时产生该告警。 堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00 * * * for file in
API接口来进行描述,开发流程主要分为以下几部分: 设置属性:设置连接ClickHouse服务实例的参数属性。 建立连接:建立和ClickHouse服务实例的连接。 创建库:创建ClickHouse数据库。 创建表:创建ClickHouse数据库下的表。 插入数据:插入数据到ClickHouse表中。
警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45652 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的作业名称。 对系统的影响 Flink服务不可用会导致FlinkSe
告警级别 是否自动清除 12034 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 周期备份任务失败,会导致在备份失败的时间段内没有可
在实际应用中,很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去支持这样的查询,它的原理是:按照RowKey的顺序,去遍历所有可能的数据,再依次去匹配那一列的值,直到获取到所需要的数据。可以看出,可能只是为了获取一行数据,它却扫描了很多不必要的数据。因此,如果对于这样的查询请求非常频繁
HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数。
该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“MapReduce 作业”按钮,将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar name”的值,例如“/user/admin
该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“MapReduce 作业”按钮,将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar name”的值,例如“/user/admin