检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
les/multi-components/mapreduce/input/”,并上传data.txt到此目录,操作如下: 在HDFS客户端使用以下命令创建目录。 hdfs dfs -mkdir -p /tmp/examples/multi-components/mapreduce/input/
hbase-common模块依赖commons-crypto,在hbase-common的pom.xml文件中,对于commons-crypto的引入,<version>使用了${commons-crypto.version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1
说明 参考文档 了解基本概念 在开始开发应用前,需要了解MapReduce的基本概念。 MapReduce应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 MapReduce的运行环境即MapReduce客户端,请根据指导完成客户端的安装和配置。
COMPLEX read.streaming.check-interval 选填 流读检测上游新提交的周期,默认值为1分钟。 5(流量大建议使用默认值) read.end-commit 选填 Stream增量消费,通过参数read.streaming.start-commit指定起始消费位置;
执行以下命令,编辑“slapd.conf.consumer”文件,将“loglevel”的值设置为“256”(loglevel定义可以在OS上使用man slapd.conf命令查看)。 cd ${BIGDATA_HOME}/FusionInsight_BASE_8.1.0.1/in
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行4。 执行ping
Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度工作,也就是说Client不能离开。 父主题: 作业管理类
将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。 父主题: 组件管理类
checkpoint.period参数后,如果不重启NameNode进程,可能会产生误报的告警,需尽快重启NameNode进程。 父主题: 作业管理类
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发常用概念 准备开发环境 使用Eclipse工具,请根据指导完成开发环境配置。 准备Eclipse与JDK 准备运行环境 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。
在YARN-Client模式下,Driver部署在Client端,在Client端启动。YARN-Client模式下,不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求,Client端将启动Applicatio
模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求,ResourceManager为其返回应答,该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动
*******************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
*******************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
*******************************************"); // 读取文本路径信息,并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
么,这个Region将无法被关闭,本次转移操作将无法完成(关于这个问题,在当前的HBase版本中的处理的确还欠缺妥当)。 因此,暂时不建议使用该方法关闭一个Region。 采用PutList模式写数据 Table类中提供了两种写数据的接口: public void put(final
Manager的告警列表中,查看1中的告警实例是否有“RegionServer handler 使用率超过阈值”告警产生。 是,执行12。 否,执行14。 参考“ALM-19021 RegionSever handler 使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
添加Manager用户 功能介绍 通过访问Manager接口完成添加用户。 代码样例 以下代码片段是添加用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成添加用户 operationName = "AddUser";
删除Manager用户 功能简介 通过访问Manager接口完成删除用户。 代码样例 以下代码片段是删除用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成删除用户 operationName
扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者必须至少配置其中一种,也可以叠加使用。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变