检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期MapReduce框架中的JobTracker性能瓶颈,开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建
变更计费模式概述 在购买MRS集群后,如果发现当前计费模式无法满足业务需求,您可以变更集群的计费模式,对应的IaaS基础设施资源费用同步变更。MRS仅支持将按需计费集群转为包年/包月集群,支持该变更计费模式的MRS计费项如表1所示。将MRS集群的计费模式从按需计费转为包年/包月,可以让您享受一定程度的价格优惠。
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库
安全加固 加固Tomcat 在FusionInsight Manager使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
备份Manager数据(MRS 3.x及之后版本) 操作场景 为了确保FusionInsight Manager系统日常数据安全,或者系统管理员需要对Manager进行重大操作(如扩容、减容等)前后,需要对Manager数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及
计费FAQ 创建MRS集群时计价器为什么未显示价格? MapReduce服务集群的Task节点如何收费? 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理?
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
在Windows中调测Impala JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Impala JDBC客户端中导入和修改样例后,并从集群Manager获取到keytab文件放置到样例工程的conf下(普通模式集群可忽略),即“impala-examples/
Flink Job Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。
附录 MRS所使用的弹性云服务器规格 MRS所使用的裸金属服务器规格 状态码 错误码 获取项目ID 获取账号ID 获取MRS集群信息 MRS支持的角色与组件对应表
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
ALM-27003 DBService主备节点间心跳中断(2.x及以前版本) 告警解释 DBService主节点或备节点未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,该告警恢复。 告警属性 告警ID 告警级别 可自动清除 27003 严重 是 告警参数 参数名称 参数含义
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
Flink Job Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据。
调测OpenTSDB应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。 操作步骤 在Windows上配置集群的IP与主机名映射关系。登录集群后台,执行命令cat /etc/hosts后,把hosts文件中的IP与主机名映射关系拷贝到“C:\Windo
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight