检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
ge、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。 规格 表1 IO优化型(IO2型)裸金属服务器的规格 规格名称/ID CPU 内存(GB) 本地磁盘 扩展配置 physical.io2.xlarge 2 * 22 Core Intel
election.enable 处理步骤 前提条件 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
安装Flink客户端 Flink使用Windows环境进行开发,运行环境则建议部署在Linux环境下,MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。 操作步骤 安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
创建云服务委托并绑定集群 为Guardian组件配置访问OBS权限 开启Hive表的级联授权功能 配置回收站清理策略 前提条件 集群已安装Guardian、Ranger、Hadoop等组件。 如果安装Hadoop、HetuEngine、Hive、Spark等组件后,再安装Guardian,则需要重新
SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。
SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。
备好客户端配置文件并更新客户端。 场景1: A集群和B集群(对端集群、互信集群)是同类型集群,例如均是分析集群或者流式集群,请参见更新客户端配置(2.x及之前版本)分别更新客户端配置文件。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。 场景2: A集群和B集群(对端
Manager。 单击“服务管理 > HBase > 服务配置”,“参数类别”类型选择“全部配置”,然后在左边窗口选择“HMaster > 系统”。 在“hbase.coprocessor.master.classes”配置项中增加值“org.apache.hadoop.hbase
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
warehouse.dir配置 保存并重启Hive服务。 (可选)安装客户端,具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root FTP密码 访问FTP服务器的密码。 xxxx
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。