检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装客户端(3.x版本) MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。
使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能
使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前,必须要保证服务端SSL对应服务功能已经开启(服务端参数“ssl.mode.enable”设置为“true”)。 SSL功能需要配合API进行使用,可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能
安装客户端(2.x及之前版本) MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。
选择“集群 > 客户端管理”,在客户端管理界面查看是否存在待操作的客户端。 是,执行3。 否,单击“添加”,根据界面提示配置待添加客户端的相关信息,单击“确定”。然后执行3。 在待更新的客户端后的“操作”列单击“更新”。 如果需要批量更新客户端,请勾选待更新的客户端(客户端的安装“用户”必须相同)后,选择“更多
> 下载客户端”,弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本,可以在主页中直接单击“下载客户端”。 表1 客户端下载参数说明 参数 描述 示例 选择客户端类型 完整客户端:包含完整客户端软件包及配置文件,适用于非开发任务场景。 仅配置文件:仅下载客户端配置文件,
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。
执行以下命令重新生成证书,等待1小时,观察此告警是否被清除。 sh geneJKS.sh -m 服务端的自定义MonitorServer证书密码 -n 客户端的自定义MonitorServer证书密码 是,执行8。 否,执行7。 服务端、客户端的自定义MonitorServer证书密码需满足以下复杂度要求:
执行以下命令重新生成证书,等待一个小时,观察此告警是否被清除。 sh geneJKS.sh -m 服务端的自定义MonitorServer证书密码 -n 客户端的自定义MonitorServer证书密码 是,执行8。 否,执行9。 服务端、客户端的自定义MonitorServer证书密码需满足以下复杂度要求:
in 执行以下命令重新生成证书,等待1小时,观察此告警是否被清除。 sh geneJKS.sh -f Flume角色服务端的自定义证书密码 -g Flume角色客户端的自定义证书密码 是,执行8。 否,执行7。 Flume角色服务端、客户端的自定义证书密码需满足以下复杂度要求:
操作场景 默认情况下,ZooKeeper客户端与服务端之间、服务端各实例之间默认未开启SSL通道加密传输,本章节指导用户开启ZooKeeper通道加密传输。 该功能仅适用于MRS 3.1.2及之后版本集群。 对系统的影响 ZooKeeper服务端开启SSL通道加密传输后,将导致一定程度的性能下降。
执行以下令重新生成证书,等待一个小时,观察此告警是否被清除。 sh geneJKS.sh -f Flume角色服务端的自定义证书密码 -g Flume角色客户端的自定义证书密码 是,执行8。 否,执行9。 Flume角色服务端、客户端的自定义证书密码需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
管理”页面单击“下载客户端”,下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容,使用HCatalog客户端创建的表,在HiveServer客户端中不能访问,但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。
生成Flume服务端和客户端的配置文件 操作场景 该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用
生成Flume服务端和客户端的配置文件 该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
可能原因 Flink开启了SSL通信加密,却没有正确的配置SSL证书。 解决办法 针对MRS 2.x及之前版本,操作如下: 方法1: 关闭Flink SSL通信加密,修改客户端配置文件“conf/flink-conf.yaml”。 security.ssl.internal.enabled:
name 原因分析 执行连接ClickHouse服务端命令时,用户名或者密码错误。 解决步骤 在执行连接ClickHouse服务端命令时,请输入正确的用户名或者密码,具体操作参考从零开始使用ClickHouse。 父主题: 客户端使用类