检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager的告警列表中，查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是，执行3。 否，执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后，在告警列表中查看该告警是否清除。 是，处理完毕。
压力不均匀。 若A段时间的任务和B段时间任务处理得较慢，则会影响C段时间任务的处理。针对上述场景，Spark提供Kafka后进先出功能。 图1 Spark Streaming应用重启时间轴 开启此功能后，Spark将优先调度C段时间内的任务，若存在多个C段任务，则按照任务产生的先
如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份Manager数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 图1 创建备份任务 在“任务名称”填写备份任务的名称。
单击作业“Logs”列的“Logs”，查看并保存Jobmanager日志。 图2 单击“Logs” 单击“Attempt ID”列的ID，单击“Logs”列的“Logs”，查看并保存Taskmanager日志。 图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServe
开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包
待操作集群的名称 > 服务 > Loader > 实例”，单击上报告警实例主机名对应的角色名，单击图表区域右上角的下拉菜单，选择“定制”，勾选“GC”中的“Loader的总GC时间”，单击“确定”。 图1 Loader的总GC时间 查看Loader每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。
调测Kafka High Level KafkaStreams API样例程序 在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/mai
调测Kafka Low level Streams样例程序 在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resource
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“图表”区域“实时”栏中，通过监控项“HDFS磁盘容量比率”查看HDFS磁盘使用率是否超过阈值（默认为80%）。若未查看到该监控项，可单击图表区域右上角的下拉菜单，选择“定制 > 磁盘”，勾选“HDFS磁盘容量比率”。
创建数据备份任务（MRS 3.x及之后版本） 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 图1 创建备份任务 设置“备份对象”为“OMS”或需要备份数据的集群。 在“任务名称”输入参数值。 在“备份类型”选择任务执行属性。 表1 备份类型说明
config”，获取表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hdfs-site.xml 配置HDFS详细参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中，确保本地机器能与解压目
无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值，通过连接符拼接后，赋给“输出字段名”。 当有字段的值为null时，会转化为空字符串，再与其他字段值拼接。 样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下图： 配置“拼接转换”算子，“分隔符”为空格，生成新字段D：
登录Manager。 选择“集群 > 服务”，单击服务视图中待操作的服务名称。 选择“实例”页签，单击待操作的实例。 选择“实例配置”，单击“导出”，导出配置参数文件到本地。 在实例配置页面单击“导入”，在弹出的配置文件选择框中定位到实例的配置参数文件，即可导入所有配置。 MRS 2
se，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行：hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表： create 'table2'
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
单击作业“Logs”列的“Logs”，查看并保存Jobmanager日志。 图2 单击“Logs” 单击“Attempt ID”列的ID，单击“Logs”列的“Logs”，查看并保存Taskmanager日志，执行14。 图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink
FS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 OBS 表示将备份文件保存在OBS目录中，仅MRS 3.3.0-LTS及之后版本支持。
source算子的代码，该段代码每发送10000条数据休息1秒钟，制作快照时将到目前为止已经发送的数据的条数保存在UDFState中；从快照中状态恢复时，读取UDFState中的数据条数并重新赋值给count变量。 1 2 3 4 5 6 7 8 9 10 11 12 13 14
单击作业“Logs”列的“Logs”，查看并保存Jobmanager日志。 图2 单击“Logs” 单击“Attempt ID”列的ID，单击“Logs”列的“Logs”，查看并保存Taskmanager日志。 图3 单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的
开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
