检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
setParallelism(2) //设置Zookeeper作为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加NettySource算子,接收来自发布者的数据 env.addSource(new
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS操作系统用户密码有效期进行配置。
在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉? 回答 当一个在线的RegionServer突然运行停止,会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运
org/documentation.html。 接收器调优 Streaming中已有多种数据源的接收器,例如Kafka、Flume、MQTT、ZeroMQ等,其中Kafka的接收器类型最多,也是最成熟一套接收器。 Kafka包括三种模式的接收器API: KafkaReceiver:直接接收Kafka数据,进程异常后,可能出现数据丢失。
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器,旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS
0.0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行验证(如图2所示),避免误操作带来的风险和损失。 图2 身份验证 父主题: 安全
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉? 回答 当一个在线的RegionServer突然运行停止,会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运
应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后,将ST打包到发给应用服务的消息里面传输给对应的应用服务端(Application Server)。 应用服务端收到请求后,使用本端应用服务对应的密钥解析其中的ST,并校验成功后,本次请求合法通过。 安全认证基本概念
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。
本数,那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数,参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。
HBase启动后,HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面,显示有4个RegionServer在线,如下图示: 原因分析 如下图可以看出,第三行hostname为controller-192-168-1-3节点和第四行hostname为
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS
_PWD}"(位于脚本的1001行)。 登录MRS Manager页面,选择“服务管理”。 选择“更多 > 同步配置”。 在弹出窗口勾选“重启配置过期的服务或实例。”,并单击“确定”,重启配置过期的服务。 同步配置时会调用addRealm.sh脚本添加krbtgt用户。 为MRS
MRS集群创建成功后,用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件,便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群 > 服务 > 服务名称 > 实例”,单击需要查看日志的实例名称,进入实例状态页面。
在按需计费模式下账户的余额不足。 欠费影响 当您的账号因按需MRS集群资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击
MRS提供统一的可视化大数据集群管理界面,包括服务启停、配置修改、健康检查等能力,并提供可视化、便捷的集群管理监控告警功能;支持一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。 MRS联合消息通知服务(SMN),在配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录
么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面,在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值