检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。ZooKeeper角色实例所在节点IP获取参考如下: 登录FusionInsight Manager页面,选择“集群 > 服务 > ZooKeeper > 实例”,查看ZooKeeper角色实例的IP地址。 --pa
客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 全量更新主Master节点的原始客户端 场景描述 用户创建集群时,默
旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。
类型都为相应的固定值。 仅可在“properties.properties”文件中配置。 bind - 绑定和source关联的主机名或IP地址。 port - 绑定端口号。 ssl false 是否使用SSL加密。 true false truststore-type JKS
/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值,19888为JobHistoryServer的端口号。 在Red Hat 6.x以及CentOS 6.x版本,使用curl命令访问JobHistorySer
'input2', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup2', 'scan.startup
/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml 将客户端节点的业务IP地址以及Manager的浮动IP地址追加到“jobmanager.web.allow-access-address”配置项中,同时在对应配置添加keytab路径以及用户名。
告警属性 告警ID 告警级别 是否自动清除 24003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 客户端IP Flume客户端IP地址。 客户端名称 Flume客户端的Agent名称。 sink名称 Flume Agent的sink名称。 对系统的影响 产生告警的Flume
单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可点击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的FusionInsight
--topic test --zookeeper 192.168.234.231:2181/kafka 可能原因 客户端命令连接ZooKeeper地址错误。 Kafka服务异常Kafka部分节点处于停止状态。 Kafka服务端配置禁止删除。 Kafka配置自动创建,且Producer未停止。
properties文件。没有指定默认值的配置为必选项。 bootstrap.servers:Kafka集群Broker地址列表,格式为ip:port,ip:port,ip:port。 security.protocol:Kafka客户端使用的认证协议,默认值“SASL_PLAINTE
类型都为相应的固定值。 仅可在“properties.properties”文件中配置。 bind - 绑定和source关联的主机名或IP地址。 port - 绑定端口号。 ssl false 是否使用SSL加密。 true false truststore-type JKS
Manager页面,看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.120.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web
Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件,均具有可读权限。同时保证
的业务影响和进行最终实施。 不支持的服务 不负责提供具体MRS集群和开源大数据组件管理的运维操作,包括参数配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。 不负责基于MRS集群之上的客户业务应用开发问题答疑和处理,例如业务设计、代码开发、作业性能调优和业务迁移等。
ZooKeeper角色实例所在节点IP地址:clientPort/kafka 删除主题 sh kafka-topics.sh --delete --topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。
为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351,10.0.0.2:12000 authentication.type 登录认证的方式。 “k
导入并配置Alluxio样例工程 在获取MRS样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import”。显示“Import”窗口,选择Existing Maven Projects,单击“next”按钮。 在“Import
打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager IP地址。 登录主管理节点。 执行以下命令检查备Manager服务器是否可达。 ping 备Manager IP地址 是,执行2。 否,执行1.c。 联系运维人员查看是否为网络故障。 是,执行1.d。