检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在HMaster上设置chore服务,用于识别和恢复长期处于transition的region。 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,下表是用于启用此功能的配置参数。 表1 参数描述 参数 描述 默认值 hbase.region
在HMaster上设置chore服务,用于识别和恢复长期处于Transition的Region。 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,下表是用于启用此功能的配置参数。 表1 参数描述 参数 描述 默认值 hbase.region
指定oozie server地址 -run 运行job -start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value>
由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties |grep '^zookeeper.connect ='命令,查看ZooKeeper地址的变量信息。
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件
会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。
户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。 登录集群详情页面,选择“组件管理”。
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
lete database:操作的数据库名称 ts:操作时间,13位时间戳 table:操作的表名 data:数据增加/删除/修改之后的内容 old:数据修改前的内容或者表修改前的结构定义 sql:DDL操作的SQL语句 def:表创建与表修改的结构定义 xid:事务唯一ID c
下载样例工程的Maven工程源码和配置文件,请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。 样例工程获取地址 MRS服务1.8之前版本的样例工程下载地址为:http://mapreduceservice
申请一台windows的ECS访问MRS集群操作hbase。安装开发环境后运行样例代码。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”,以及Master节点的“默认安全组”。 在弹性
指定oozie server地址 -run 运行job -start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value>
并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件
MRS集群中安装的组件能否删除? 问: MRS集群创建成功后,集群中已安装的组件能否删除? 答: 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义
RS集群的运行不受影响。MRS集群到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月MRS集群续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月MRS集群从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。
指定oozie server地址 -run 运行job -start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value>
指定oozie server地址 -run 运行job -start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value>
Thrift各个方法接收的RPC请求中最长的耗时超过阈值 告警解释 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时,当检查到该值超出阈值(默认值为5000ms)时产生该告警。 当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时,告警清除。
MRS集群内节点支持更换网段。 在集群详情页“默认生效子网”右侧单击“切换子网”。 选择当前集群所在VPC下的其他子网,即可实现可用子网IP的扩充。 新增子网不会影响当前已有节点的IP地址和子网。 父主题: 产品咨询类
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Pyt