云服务器内容精选

  • 批量升级 MRS 集群客户端 以待安装客户端的用户登录客户端下载节点。 执行以下命令进行升级。 sh client_batch_upgrade.sh -u -f /tmp/ FusionInsight -Client/FusionInsight_Cluster_1_Services_Client.tar -g /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig/batch_upgrade/client-info.cfg 由于配置了密码信息,执行完升级后建议尽快删除client-info.cfg文件。 升级执行完成后确认结果。确保客户端升级无误后执行sh client_batch_upgrade.sh -c,确认升级结果。 如果客户端升级后存在问题,可以执行sh client_batch_upgrade.sh -s,回滚客户端。 客户端批量升级工具本身是将原客户端move至备份目录,然后再使用-f参数指定的客户端包再次安装客户端。因此若原客户端中有定制的内容,请在执行-c命令之前,将定制的内容从备份目录手动保存或者移至升级后的客户端目录。客户端备份路径为:{原客户端路径}-backup。 参数-u是-c和-s的前提,必须在-u命令执行了升级之后,才能选择是要执行-c进行提交还是-s进行回滚。 升级命令(-u)可以多次执行,每次执行只升级前面升级失败的客户端,跳过升级成功的客户端。 客户端批量升级工具也支持升级之前的旧客户端。 执行非root用户安装的客户端升级时,请确保相应用户在目标节点客户端所在目录及父目录的读写权限,否则会升级失败。 -f参数输入的客户端包必须为全量客户端,不支持单组件或部分组件客户端包作为输入。
  • 批量刷新hosts文件 执行批量升级前准备操作。 检查需要更新“/etc/hosts”文件的节点的配置用户是否为“root”。 是,执行3。 否,更改配置用户为“root”,再执行3。 执行以下命令,批量刷新客户端所在节点的“/etc/hosts”文件。 sh client_batch_upgrade.sh -r -f /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar -g /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig/batch_upgrade/client-info.cfg 执行批量刷新“/etc/hosts”文件时,输入的客户端包可以是完整客户端,也可以是仅包含配置文件的客户端软件包,推荐使用仅包含配置文件的客户端软件包。 需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户,否则会刷新失败。
  • 通过Manager页面查看节点状态(MRS 2.x及之前版本) 登录MRS Manager。 单击“主机管理”,看所有主机状态。 主机操作状态和健康状态分别如下表所示。 表5 主机操作状态 状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离,主机上的服务角色停止运行。 表6 主机健康状态 状态 描述 良好 主机心跳检测正常。 故障 主机心跳超时未上报。 未知 执行添加操作时,主机的初始状态。 单击列表中指定的主机名称,查看单个主机状态及指标。 定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 单击“导出”,导出当前查看的指标数据。
  • 通过管理控制台查看节点状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“节点管理”。 展开节点组名称,可查看节点基本信息、节点状态、CPU使用率、内存使用率、磁盘使用率等信息。 在主机列表单击指定的主机名称,可查看更详细的节点信息。 表1 MRS集群节点信息 参数 参数说明 节点组名称 集群节点组名称。 节点类型 节点组对应的节点类型,可参考MRS集群节点类型说明。 单击节点组名称前方的,显示该节点组包含的节点,单击节点名称,使用创建集群时配置的密码或者密钥对远程登录弹性云服务器。节点参数说明请参见查看MRS集群组件监控指标。 节点数 对应节点组中包含的节点数量。 付费类型 显示购买集群时的付费类型,包含“按需计费”和“包年/包月”。
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 克隆MRS集群作业 本章节介绍如何克隆作业列表中的作业。 用户每次只能克隆1个作业,单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数,而是合并显示为命令参考。 DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中,单击“克隆”,弹出“克隆作业”对话框。 配置克隆参数。 若无参数修改,无需执行本步骤。 若有参数修改,根据实际情况填写参数,单击“确定”下发克隆作业。 命令参考(由添加作业时的“运行程序参数”与“执行程序参数”组成):在原有的命令后,按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数:新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。 增加新的执行程序参数:新的命令参考是“运行程序参数, 执行程序参数, {新的执行程序参数}”。 比如原有的命令参考为: -D, 10, -F, 12, abc ,增加新的运行程序参数时,则新的命令参考为:-D, 10, -F, 12, -G, 18, abc;增加新的执行程序参数时,则新的命令参考为:-D, 10, -F, 12, abc, efg。用户根据实际需求按照该规则(, 新参数)追加新的参数。 服务配置参数:在原有的参数后,按“, {key}={value}”的格式添加新的服务配置参数。比如原有参数为appender.out.strategy.max=10,则新的服务参数为:appender.out.strategy.max=10, appender.err.strategy.max=15。用户根据实际需求按照该规则(, {key}={value})追加新的参数。 克隆作业时,逗号+空格的格式只能在两个参数间存在;若存在于参数中,作业可能执行失败。 在原有参数后继续添加参数,逗号后需要有空格,否则作业可能执行失败。 克隆的作业返回参数不含有fs.obs.access.key、fs.obs.secret.key,若需要fs.obs.access.key、fs.obs.secret.key,需在“服务配置参数”中添加。 单击“确定”下发克隆作业。 作业克隆成功后,作业状态为“已完成”状态。 父主题: 管理MRS集群作业
  • 查看静态资源(2.x及之前版本) 在MRS Manager,单击“系统设置”,在“资源管理”区域单击“静态服务池”。 单击“状态”。 查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务,则表示此服务独占节点可用资源。如果节点有多个服务,则表示所有服务共同使用节点可用资源。 “CPU(%)”表示节点中服务可使用的最大CPU。 “Memory(%)”表示节点中服务可使用的最大内存。 查看集群服务资源使用状态。 在图表区域的服务选择框中选择“所有服务”,则“图表”中会显示服务池所有服务的资源使用状态。 “生效的配置组”表示集群服务当前使用的资源控制配置组。默认情况下每天所有时间均使用“default”配置组,表示集群服务可以使用节点全部CPU,以及70%的内存。 查看单个服务资源使用状态。 在图表区域的服务选择框中选择指定服务,“图表”中会显示服务池此服务的资源使用状态。 用户可以选择页面自动刷新间隔的设置。 在“时间区间”选择需要查看服务资源的时间段。 单击“查看”可以查看相应时间区间的服务资源数据。 自定义服务资源报表。 单击“定制”,勾选需要显示的服务源指标。 单击“确定”保存并显示所选指标。 单击“清除”可批量取消全部选中的指标项。 导出监控指标报表。 单击“导出”,Manager将生成指定时间范围内、已勾选的服务资源指标报表文件,请选择一个位置保存,并妥善保管该文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面将显示用户自定义时间范围内选定指标的分布曲线图。
  • 创建用户(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在用户列表上方,单击“添加用户”。 根据界面提示配置参数,填写“用户名”。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。 使用已创建的用户时,请输入和用户名完全一样的大小写字符。 “用户名”为必选参数,字符长度为3到20,可以包含数字、字母和下划线。 “root”、“omm”和“ommdba”为系统保留用户,请选择其他用户名。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在MRS Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户:用于MRS应用开发的场景。选择该值用户密码随机生成,无需填写。 在“用户组”,单击“选择添加的用户组”,选择对应用户组将用户添加进去。 如果用户组添加了角色,则用户可获得对应角色中的权限。 为新用户分配Hive的权限,请将用户加入hive组。 如果用户需要管理租户资源,用户组必须分配了Manager_tenant角色以及租户对应的角色。 在“主组”选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 根据业务实际需要在“分配角色权限”,单击“选择并绑定角色”为用户添加角色。 创建用户时,如果用户从用户组获得的权限还不满足业务需要,则可以再分配其他已创建的角色。为新用户分配角色授权,最长可能需要3分钟时间生效。 创建用户时添加角色可细化用户的权限。 没有为新用户分配角色时,此用户可以访问HDFS、HBase、Yarn、Spark和Hue的WebUI。 根据业务实际需要“描述”。 “描述”为可选参数。 单击“确定”完成用户创建。 第一次在MRS集群中使用新创建的用户,例如登录Manager或者使用集群客户端,需要修改密码。
  • 集群Master节点规格升级(一键升级) 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“节点管理”页签Master节点组的“操作”列选择“升级规格”,进入“升级Master规格”页面。 选择升级后的规格,单击“提交”成功提交升级Master规格任务。 节点规格升级过程需要时间,升级成功后集群状态更新为“运行中”,请您耐心等待。 升级过程中集群会自动关闭升级的虚拟机,升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同,节点规格升级成功后不会自动更新组件内存配置,用户可根据实际使用情况自行调整各组件内存配置。
  • 使用限制 支持2个及以上Master节点的集群升级Master节点规格 。 不支持使用BMS类型规格的集群升级Master节点规格 。 MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS 3.1.0及之后版本,请参考集群Master节点规格升级(一键升级)。 MRS 1.8.2之前版本和MRS 3.0.5版本,请参考集群Master节点规格升级(分步升级)操作。 升级过程中请勿对集群进行其他操作。 升级Master节点规格会导致业务中断,请尽量安排业务空闲期升级Master节点规格。
  • 更新客户端配置(2.x及之前版本) 方法一:所有版本集群均支持使用。 登录MRS Manager页面,选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图2 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令,更新客户端配置。 sh refreshConfig.sh 客户端安装目录客户端配置文件压缩包完整路径 例如: sh refreshConfig.sh /opt/Bigdata/client /tmp/MRS-client/MRS_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh components client config. 方法二: 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。 sh autoRefreshConfig.sh 命令执行后显示如下信息,其中XXX表示集群安装的组件名称,如需更新全部组件配置,单击“Enter”键,如需更新部分组件配置,请输入需要更新的组件名称,多个组件名称以逗号相隔。 Components "xxx" have been installed in the cluster. Please input the comma-separated names of the components for which you want to update client configurations. If you press Enter without inputting any component name, the client configurations of all components will be updated: 界面显示以下信息表示配置更新成功: Succeed to refresh components client config. 界面显示以下信息表示用户名或者密码错误: login manager failed,Incorrect username or password. 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。
  • 通过管理控制台修改实例参数 登录MRS管理控制台,单击待操作的集群名称。 在集群详情页,单击“组件管理”。 单击服务列表中指定的服务名称。 单击“实例”页签。 单击角色实例列表中指定的角色实例名称。 单击“实例配置”页签。 将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 单击“保存配置”,根据界面提示保存配置。
  • 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包周期的集群对应的“操作”列中,单击“转包周期”。 确定转包周期集群信息,并单击“是”。 进入用户中心,选择续费时长后单击“提交”,提交订单。 订单提交完成后,集群状态由“运行中”更新为“转包周期中”。 订单支付成功后,集群开始进行转包周期流程,待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。
  • 前提条件 需要在 IAM 用户所属的用户组中,设置用户组的权限。 由于在集群上添加服务和删除服务属于高危操作,因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant Administrator任意一个策略才可以执行。 具体权限说明请参见IAM用户同步MRS集群说明。 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
  • 多租户使用说明 租户主要用于资源控制、业务隔离的场景。在实际业务中,用户需要先明确使用集群资源的业务场景,规划租户。 多租户使用包含三类操作:创建租户、管理租户和管理资源。各操作的具体动作如表1所示。 表1 使用租户的各种操作 操作 具体动作 说明 创建租户 添加租户 添加子租户 添加用户并绑定租户的角色 创建租户时,便可根据业务需求,为租户配置计算资源、存储资源和关联服务;为租户添加用户,并为用户绑定需要的角色。 创建一级租户的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户,以及恢复租户数据的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 管理或删除子租户的用户,至少需要绑定父租户对应的角色。 管理资源 添加资源池 修改资源池 删除资源池 配置队列 配置资源池的队列容量策略 清除队列配置 管理资源是随着业务变化对租户再次配置资源的操作。 管理资源的用户,需要绑定“Manager_administrator”或“System_administrator”角色。