检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速开发Spark应用 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言的应用开发。 通常适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative Computation):
添加HetuEngine的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HetuEngine用户配置操作数据源的数据库、表、列的管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或角色。 用户已加入hetuuser组。
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。
准备连接IoTDB集群配置文件 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
ALM-43011 JDBCServer2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测JDBCServer2x进程非堆内存使用状态,当检测到JDBCServer2x进程非堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
ALM-13000 ZooKeeper服务不可用 告警解释 系统每60秒周期性检测ZooKeeper服务状态,当检测到ZooKeeper服务不可用时产生该告警。 ZooKeeper服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 13000 紧急 是 告警参数 参数名称
ALM-16006 Hive服务进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测Hive直接内存使用率,并把实际的Hive直接内存使用率和阈值相比较。当Hive直接内存使用率超出阈值(默认为最大直接内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 >
ALM-16008 Hive服务进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive非堆内存使用率,并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值(默认为最大非堆内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 >
使用Oozie客户端提交其它任务 操作场景 除了Hive、Spark2x、Loader任务,也支持使用Oozie客户端提交MapReduce、Java、Shell、HDFS、SSH、SubWorkflow、Streaming、定时等任务。 请下载使用最新版本的客户端。 前提条件
IoTDB客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用IoTDB客户端。 前提条件 已安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,
典型场景:从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com
ALM-12055 证书文件即将过期 告警解释 系统每天二十三点检查一次当前系统中的证书文件,如果当前时间距离证书过期时间小于30天,则证书文件即将过期,产生该告警。 当重新导入一个正常证书,并且状态不为即将过期,在下一个整点触发告警检测机制后,该告警恢复。 MRS 3.2.0及之后版本告警检测周期为:每小时整点。
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率,并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
ALM-24005 Flume传输数据异常 告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统即时上报告警。 默认阈值为10,用户可通过conf目录下的配置文件properties
访问HBase ThriftServer认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的读、