检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加组件自定义参数对系统的影响 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间无法访问服务。 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。
调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。
分别执行以下命令,手动创建新的ntp服务路由信息。未配置外部NTP时钟源时,跳过此步骤。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 父主题: Hive开发指南(安全模式)
解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(安全模式)
调测Storm应用 打包Storm样例工程应用 打包Storm业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(安全模式)
Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程 父主题: Storm开发指南(普通模式)
Hive应用开发常见问题 Hive JDBC接口介绍 HiveQL接口介绍 Hive WebHCat接口介绍 父主题: Hive开发指南
开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题: MapReduce开发指南
准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。
准备OpenTSDB应用开发环境 OpenTSDB应用开发环境简介 准备OpenTSDB应用开发环境 准备OpenTSDB应用开发用户 导入并配置OpenTSDB样例工程 父主题: OpenTSDB开发指南
Alluxio应用开发概述 Alluxio应用开发简介 Alluxio常用概念 Alluxio应用开发流程介绍 父主题: Alluxio开发指南
选择“HBase > 服务配置”,将“基础配置”切换为“全部配置”。 搜索并修改“hbase.security.authorization”为“true”(选择第一个HBase下的参数即可)。
配置描述 进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。