检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 主页底部任务栏 服务状态预览区: 主页界面的左侧展示集群已安装服务组件列表信息,可查看当前集群已安装各服务的状态和告警情况。 每个服务名称左侧的表示当前该服务运行状态良好,表示当前服务启动失败,表示当前服务未启动。 同时服务名称右侧可查看当前该服务是否产生了告警,如果存在
在MRS管理控制台执行健康检查管理操作仅适用于MRS 1.9.2集群。 手动执行所有服务的健康检查: 选择“管理操作 > 启动集群健康检查”。 手动执行单个服务的健康检查: 单击“组件管理”,在服务列表中单击指定服务名称,选择“更多 > 启动服务健康检查”启动指定服务健康检查。 手动执行主机健康检查: 单击“节点管
么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面,在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值
本数,那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数,参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean
用于实时OLAP集市数据存储和查询,提供大数据量的高效关联/聚合分析能力。 数据服务:提供数据服务API开发和开放能力,将数据集市的查询定义为数据服务接口,对上层应用提供接口化的数据服务能力。数据服务能力由DataArts Studio的DLM组件提供。 JDBC直连:Doris
限项在两种模式中相同。 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源的
通过弹性公网IP访问集群Web站点 消息通知 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实
使用ZooKeeper客户端 ZooKeeper是一个开源的,高可靠的,分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂,易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用,十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前,除主管理节点以外的客户端,需要下载并更新客户端配置文件。
保留期到期后,若您仍未支付账户欠款,集群将终止服务,系统中的数据也将被永久删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 关机计费策略 一般情况下,对于按需计费的MRS集群,对集群所有的弹性云服务器进行关机后,相关计费策略如下: MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。
配置Flink认证和加密 安全认证 Flink整个系统存在三种认证方式: 使用kerberos认证:Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与H
Flink向Kafka生产并消费数据的Java/Scala示例程序。 在本工程中,假定某个Flink业务每秒就会收到1个消息记录,启动Producer应用向Kafka发送数据,然后启动Consumer应用从Kafka接收数据,对数据内容进行处理后并打印输出。 FlinkKafkaScalaExample Fl
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。
Admin:Ranger安全管理员,可查看Ranger所有管理页面内容,进行服务权限管理插件及权限访问控制策略的管理操作,可查看审计信息内容,可进行用户类型设置。 Auditor:Ranger审计管理员,可查看服务权限管理插件及权限访问控制策略的内容。 User:普通用户,可以被Ranger管理员赋予具体权限。
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 xxx 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 xxx 安全组 安全组是一组对弹性云服务器的访问规
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MR
Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据(需要
安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,
本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Kafka服务的客户端已安装,例如安装路径为:/opt/client 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink
setParallelism(2) //设置Zookeeper作为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加NettySource算子,接收来自发布者的数据 env.addSource(new