云服务器内容精选

  • 通过管理控制台查看节点状态 登录 MRS 管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“节点管理”。 展开节点组名称,可查看节点基本信息、节点状态、CPU使用率、内存使用率、磁盘使用率等信息。 在主机列表单击指定的主机名称,可查看更详细的节点信息。 表1 MRS集群节点信息 参数 参数说明 节点组名称 集群节点组名称。 节点类型 节点组对应的节点类型,可参考MRS集群节点类型说明。 单击节点组名称前方的,显示该节点组包含的节点,单击节点名称,使用创建集群时配置的密码或者密钥对远程登录弹性云服务器。节点参数说明请参见查看MRS集群组件监控指标。 节点数 对应节点组中包含的节点数量。 付费类型 显示购买集群时的付费类型,包含“按需计费”和“包年/包月”。
  • 通过Manager页面查看节点状态(MRS 2.x及之前版本) 登录MRS Manager。 单击“主机管理”,看所有主机状态。 主机操作状态和健康状态分别如下表所示。 表5 主机操作状态 状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离,主机上的服务角色停止运行。 表6 主机健康状态 状态 描述 良好 主机心跳检测正常。 故障 主机心跳超时未上报。 未知 执行添加操作时,主机的初始状态。 单击列表中指定的主机名称,查看单个主机状态及指标。 定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 单击“导出”,导出当前查看的指标数据。
  • 多租户使用说明 租户主要用于资源控制、业务隔离的场景。在实际业务中,用户需要先明确使用集群资源的业务场景,规划租户。 多租户使用包含三类操作:创建租户、管理租户和管理资源。各操作的具体动作如表1所示。 表1 使用租户的各种操作 操作 具体动作 说明 创建租户 添加租户 添加子租户 添加用户并绑定租户的角色 创建租户时,便可根据业务需求,为租户配置计算资源、存储资源和关联服务;为租户添加用户,并为用户绑定需要的角色。 创建一级租户的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户,以及恢复租户数据的用户,需要绑定“Manager_administrator”或“System_administrator”角色。 管理或删除子租户的用户,至少需要绑定父租户对应的角色。 管理资源 添加资源池 修改资源池 删除资源池 配置队列 配置资源池的队列容量策略 清除队列配置 管理资源是随着业务变化对租户再次配置资源的操作。 管理资源的用户,需要绑定“Manager_administrator”或“System_administrator”角色。
  • 多租户使用流程概述 在实际业务中,管理员需要先明确使用集群资源的业务场景,规划租户。然后再通过MRS添加租户,并配置租户的动态资源、存储资源以及所关联的服务。 创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户 可配置待添加租户的计算资源、存储资源和关联服务。 添加子租户 可配置待添加子租户的计算资源、存储资源和关联服务。 添加用户并绑定租户的角色 若一个用户想要使用“tenant1”租户包含的资源,或为“tenant1”租户添加/删除子租户,则需要同时绑定“Manager_tenant”和“tenant1_集群ID”两个角色。
  • 更新客户端配置(2.x及之前版本) 方法一:所有版本集群均支持使用。 登录MRS Manager页面,选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图2 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令,更新客户端配置。 sh refreshConfig.sh 客户端安装目录客户端配置文件压缩包完整路径 例如: sh refreshConfig.sh /opt/Bigdata/client /tmp/MRS-client/MRS_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh components client config. 方法二: 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。 sh autoRefreshConfig.sh 命令执行后显示如下信息,其中XXX表示集群安装的组件名称,如需更新全部组件配置,单击“Enter”键,如需更新部分组件配置,请输入需要更新的组件名称,多个组件名称以逗号相隔。 Components "xxx" have been installed in the cluster. Please input the comma-separated names of the components for which you want to update client configurations. If you press Enter without inputting any component name, the client configurations of all components will be updated: 界面显示以下信息表示配置更新成功: Succeed to refresh components client config. 界面显示以下信息表示用户名或者密码错误: login manager failed,Incorrect username or password. 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。
  • 前提条件 如果通过MRS管理控制台操作,需要已完成 IAM 用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量 kinit hdfs #设置kinit认证 Password for hdfs@HADOOP.COM: #输入hdfs用户登录密码 执行hdfs fsck / -list-corruptfileblocks,检查返回结果。 如果结果为“...has 0 CORRUPT files”表示健康检查成功。 如果结果不是“...has 0 CORRUPT files”,并返回损坏的文件名称,请执行以下操作删除损坏的文件。 hdfs dfs -rm 损坏的文件名称 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。
  • 约束和限制 已经退服的角色实例,必须执行入服操作启动该实例,才能重新使用。 ClickHouseServer实例退服约束条件请参考缩容ClickHouseServer约束限制。 DataNode入服退服: 默认情况下,当DataNode数量少于或等于HDFS的副本数时,不能执行退服操作。若HDFS副本数为3时,则系统中少于4个DataNode,将无法执行退服,Manager在执行退服操作时会等待30分钟后报错并退出执行。 针对MRS 3.3.0及之后版本集群,用户也可以在DataNode退服前,开启快速退服功能,此时当DataNode数量满足“dfs.namenode.decommission.force.replication.min”参数设置的值时,可以执行退服,系统将同时执行退服和添加HDFS副本数的操作。快速退服期间如果有写入数据操作,可能导致数据丢失,请谨慎操作。快速退服相关参数如下,可以在Manager界面的HDFS服务参数全部配置页面搜索查看: dfs.namenode.decommission.force.enabled:是否开启DataNode快速退服特性。设置为“true”表示开启。 dfs.namenode.decommission.force.replication.min:DataNode快速退服特性场景下,Block满足退服条件的最小可用副本数量。取值范围1~3。 由于MapReduce任务执行时,会生成一些副本数为10的文件,此时若DataNode实例数少于10时,将无法进行退服操作。 如果退服前,DataNode节点的机架数(机架数由各DataNode节点所配置的“机架”的名称数量决定)大于1;而退服部分DataNode后,剩余的DataNode节点的机架数变为1,则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响,以调整退服的DataNode节点。 在退服多个DataNode时,如果每个DataNode存储的数据量较大,如果执行选择多个DataNode同时退服,则很有可能会因超时而退服失败。为了避免这种情况,建议每次退服仅退服1个DataNode,进行多次退服操作。 当IoTDBServer数量少于等于集群配置的Region副本数(默认值为“3”)时,不能执行退服操作。
  • 前提条件 需要在IAM 用户所属的用户组中,设置用户组的权限。 由于在集群上添加服务和删除服务属于高危操作,因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant Administrator任意一个策略才可以执行。 具体权限说明请参见IAM用户同步MRS集群说明。 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
  • 操作场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问 FusionInsight Manager:通过为集群绑定弹性公网IP的方式,访问MRS集群Manager界面及集群内托管的开源组件。该方式更加简便易操作,推荐使用该方式访问。 通过云专线访问FusionInsight Manager:云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用线上云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合计算环境。 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换:登录MRS管理控制台,在待操作的MRS集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 通过E CS 访问FusionInsight Manager:通过与MRS集群在同一VPC内的ECS节点访问集群Manager界面。该方式操作较为复杂,推荐在不支持EIP功能的场景使用。 通过配置SSH隧道访问MRS集群Manager:用户和MRS集群处于不同的网络中,可以创建一个SSH隧道连接,使用户访问站点的数据请求发送到MRS集群并动态转发到对应的站点。
  • 通过ECS访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全组配额是否不足,请增加配额或删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https:// OMS 浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 OMS浮动IP地址:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
  • 通过云专线访问MRS集群Manager 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”,并勾选操作影响。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 单击“确定”,进入MRS Manager登录页面,用户名使用“admin”,密码为创建集群时设置的admin密码。
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 创建用户(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在用户列表上方,单击“添加用户”。 根据界面提示配置参数,填写“用户名”。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。 使用已创建的用户时,请输入和用户名完全一样的大小写字符。 “用户名”为必选参数,字符长度为3到20,可以包含数字、字母和下划线。 如果用户名称中包含其他特殊字符(例如“.”、“@”等)可能导致同步IAM用户失败。 “root”、“omm”和“ommdba”为系统保留用户,请选择其他用户名。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在MRS Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户:用于MRS应用开发的场景。选择该值用户密码随机生成,无需填写。 在“用户组”,单击“选择添加的用户组”,选择对应用户组将用户添加进去。 如果用户组添加了角色,则用户可获得对应角色中的权限。 为新用户分配Hive的权限,请将用户加入hive组。 如果用户需要管理租户资源,用户组必须分配了Manager_tenant角色以及租户对应的角色。 在“主组”选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 根据业务实际需要在“分配角色权限”,单击“选择并绑定角色”为用户添加角色。 创建用户时,如果用户从用户组获得的权限还不满足业务需要,则可以再分配其他已创建的角色。为新用户分配角色授权,最长可能需要3分钟时间生效。 创建用户时添加角色可细化用户的权限。 没有为新用户分配角色时,此用户可以访问HDFS、HBase、Yarn、Spark和Hue的WebUI。 根据业务实际需要“描述”。 “描述”为可选参数。 单击“确定”完成用户创建。 第一次在MRS集群中使用新创建的用户,例如登录Manager或者使用集群客户端,需要修改密码。
  • 批量升级MRS集群客户端 以待安装客户端的用户登录客户端下载节点。 执行以下命令进行升级。 sh client_batch_upgrade.sh -u -f /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar -g /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig/batch_upgrade/client-info.cfg 由于配置了密码信息,执行完升级后建议尽快删除client-info.cfg文件。 升级执行完成后确认结果。确保客户端升级无误后执行sh client_batch_upgrade.sh -c,确认升级结果。 如果客户端升级后存在问题,可以执行sh client_batch_upgrade.sh -s,回滚客户端。 客户端批量升级工具本身是将原客户端move至备份目录,然后再使用-f参数指定的客户端包再次安装客户端。因此若原客户端中有定制的内容,请在执行-c命令之前,将定制的内容从备份目录手动保存或者移至升级后的客户端目录。客户端备份路径为:{原客户端路径}-backup。 参数-u是-c和-s的前提,必须在-u命令执行了升级之后,才能选择是要执行-c进行提交还是-s进行回滚。 升级命令(-u)可以多次执行,每次执行只升级前面升级失败的客户端,跳过升级成功的客户端。 客户端批量升级工具也支持升级之前的旧客户端。 执行非root用户安装的客户端升级时,请确保相应用户在目标节点客户端所在目录及父目录的读写权限,否则会升级失败。 -f参数输入的客户端包必须为全量客户端,不支持单组件或部分组件客户端包作为输入。