云服务器内容精选
-
调度器介绍 多租户根据调度器类型分为开源的Capacity调度器和增强型Superior调度器， MRS 集群默认即启用了Superior调度器。 Capacity调度器为开源的容量调节器。 Superior调度器为增强型，Superior取名源自苏必利尔湖，意指由该调度器管理的数据足够大。 调度器类型可通过Yarn服务的“yarn.resourcemanager.scheduler.class”参数值查询。调度器类型切换参考切换MRS租户资源调度器。 为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，Superior调度器不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将Yarn的标签调度增强为资源池特性，Yarn集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。 大集群环境下的调度性能优势 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。 优先策略 当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。
-
多租户资源概述 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离。 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。 计算资源可分为静态服务资源和动态资源： 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 静态服务资源 静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 Yarn是大数据集群中的分布式资源管理服务，大数据集群为Yarn分配资源，资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于MapReduce、Spark、Flink和Hive的任务队列，计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。 对于租户，通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额，可以查看任务队列的使用状态和使用统计。 资源池： 现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景： 集群异构，集群中各个节点的计算速度、存储容量和网络性能存在差异，需要把复杂应用的所有任务按照需求，合理地分配到各个计算节点上。 计算分离，多个部门需要数据共享，但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。 动态资源调度机制： Yarn动态资源支持标签调度（Label Based Scheduling）策略，此策略通过为计算节点（Yarn NodeManager）创建标签（Label），将具有相同标签的计算节点添加到同一个资源池中，Yarn根据任务队列对资源的需求，将任务队列和有相应标签的资源池动态关联。 例如，集群中有40个以上的节点，根据各节点的硬件和网络配置，分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签，添加到四个资源池中，资源池中的各节点性能如表3所示。 表3 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列 任务队列只能使用所关联的资源池里的计算节点。 普通的任务队列关联资源池A，使用硬件和网络配置一般的Normal节点。 计算密集型的任务队列关联资源池B，使用具有高性能CPU的HighCPU节点。 内存密集型的任务队列关联资源池C，使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D，使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联，可以更有效地使用资源，保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 HDFS是大数据集群中的分布式文件存储服务，存放大数据集群上层应用的所有用户数据，例如写入HBase表或Hive表的数据。 目录是HDFS存储资源分配的基本单位。HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，在目录中创建、删除、移动或重命名文件。租户通过指定HDFS文件系统的目录来获取存储资源。 存储资源调度机制如下： 系统支持将HDFS目录存储到指定标签的节点上，或存储到指定硬件类型的磁盘上。例如以下业务场景： 实时查询与数据分析共集群时，实时查询只需部署在部分节点上，其数据也应尽可能的只存储在这些节点上。 关键数据根据实际业务需要保存在具有高度可靠性的节点中。 管理员可以根据实际业务需要，通过数据特征灵活配置HDFS数据存储策略，将数据保存在指定的节点上。 对于租户，存储资源是各租户所占用的HDFS资源。可以通过将指定目录的数据存储到租户配置的存储路径中，实现存储资源调度，保证租户间的数据隔离。 用户可以添加/删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额来管理存储资源。
-
多租户相关模型 多租户相关模型： 多租户相关模型如下图所示。 图1 多租户相关模型 图1中涉及的概念如表1所示。 表1 相关概念说明 概念 说明 用户 用户是拥有用户名，密码等账号信息的自然人，是大数据集群的使用者。 图中有三个不同的用户：用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限定在具体对象上的，例如对HDFS中的“/tenant”目录的访问权限，这里权限就限定在“/tenant”目录这个具体对象上。 图中有四个不同的角色：角色“t1”、角色“t2”、角色“t3”和角色“Manager_tenant”。 角色“t1”、角色“t2”和角色“t3”为创建租户时，集群自动生成的角色，角色名和租户名相同，分别对应租户“t1”、租户“t2”和租户“t3”，不能单独使用。 角色“Manager_tenant”为集群中本身存在的角色，不能单独使用。 租户 租户是从大数据集群中划分出的资源集合。多个不同的租户统称为多租户，租户内部进一步划分出的资源集合是子租户。 图中有三个不同的租户：租户“t1”、租户“t2”和租户“t3”。 资源 计算资源包括CPU和内存。 租户的计算资源是从集群总计算资源中划分出的，租户之间不可以互占计算资源。 图中：计算资源1、计算资源2和计算资源3分别是租户“t1”、租户“t2”和租户“t3”从集群中划分出的计算资源。 存储资源包括磁盘或第三方存储系统。 租户的存储资源是从集群总存储资源中划分出的，租户之间不可以互占存储资源。 图中：存储资源1、存储资源2和存储资源3分别是租户“t1”、租户“t2”和租户“t3”从集群中划分出的存储资源。 若用户想要使用租户资源或为租户添加/删除子租户，则需要同时绑定该租户对应的角色和角色“Manager_tenant”。在图1中，各用户绑定的角色如表2所示。 表2 各用户绑定的角色 用户 绑定的角色 权限 用户A 角色“t1” 角色“t2” 角色“Manager_tenant” 使用租户“t1”和租户“t2”的资源。 为租户“t1”和租户“t2”添加/删除子租户。 用户B 角色“t3” 角色“Manager_tenant” 使用租户“t3”的资源。 为租户“t3”添加/删除子租户。 用户C 角色“t1” 角色“Manager_tenant” 使用租户“t1”的资源。 为租户“t1”添加/删除子租户。 用户和角色是多对多的关系，一个用户可以绑定多个角色，一个角色可以被多个用户绑定。用户通过绑定角色和租户建立关系，因此用户和租户也是多对多的关系。一个用户可以使用多个租户的资源，多个用户也可以使用同一个租户的资源，例如图1中，用户A使用租户“t1”和租户“t2”的资源，用户A和用户C都使用租户“t1”的资源。 “父租户”、“子租户”、“一级租户”、“二级租户”的概念是针对客户的多租户业务场景设定的，注意与FusionInsight Manager上的“叶子租户资源”和“非叶子租户资源”的概念区别。 一级租户：按照租户所在层级确定名称，如最初创建的租户为一级租户，一级租户的子租户为二级租户。 父租户与子租户：用来表述租户间上下层级关系的称呼。 非叶子租户资源：创建租户时，选择的租户类型，该类型可以创建子租户。 叶子租户资源：创建租户时，选择的租户类型，该类型不可以创建子租户。 多租户平台： 租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源，资源利用效率低。 不同用户的数据可能存放在一起，难以保证数据安全。 对于以租户为核心的大数据平台，用户通过访问租户来使用需要的资源和服务。 按照应用需求分配和调度出需要的资源，以租户来统一使用，资源利用效率高。 用户通过分配不同的角色获得使用不同租户资源的权限，以保障访问安全。 不同的租户之间数据隔离，以保证数据安全。
-
多租户概述 背景介绍： 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 MRS多租户介绍： MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。当前仅分析集群支持租户。 多个不同的租户统称多租户。多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。 存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。 租户可以在界面上根据业务需要，在集群中创建租户、管理租户。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。 默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。 资源池介绍： Yarn任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，Yarn任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使Yarn任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的Yarn任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。 在MRS集群中，租户从逻辑上对Yarn集群的节点进行分区，使多个NodeManager形成一个资源池。Yarn任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。 MRS中最多支持50个资源池。系统默认包含一个“default”资源池。 多租户优势介绍： 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。
-
通过云专线访问MRS集群Manager 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签，单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”，并勾选操作影响。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址，使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 单击“确定”，进入MRS Manager登录页面，用户名使用“admin”，密码为创建集群时设置的admin密码。
-
通过E CS 访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”，进入ECS管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群，“协议”需选择为“TCP”，“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”，请检查安全组配额是否不足，请增加配额或删除不再使用的安全组规则。 在EIP管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码，弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中，打开浏览器访问Manager。 Manager访问地址为https:// OMS 浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码，例如“admin”用户。 OMS浮动IP地址：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示OMS浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 如果使用其他集群用户访问Manager，第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下，在登录时输入5次错误密码将锁定用户，需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ，然后单击“注销”。
-
访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问FusionInsight Manager：通过为集群绑定弹性公网IP的方式，访问MRS集群Manager界面及集群内托管的开源组件。该方式更加简便易操作，推荐使用该方式访问。 通过云专线访问FusionInsight Manager：云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道，充分利用线上云服务优势的同时，继续使用现有的IT设施，实现灵活一体，可伸缩的混合计算环境。 操作前请确保云专线服务可用，并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换：登录MRS管理控制台，在待操作的MRS集群“概览”页面单击“集群管理页面”后的，在打开的页面中进行切换。 通过ECS访问FusionInsight Manager：通过与MRS集群在同一VPC内的ECS节点访问集群Manager界面。该方式操作较为复杂，推荐在不支持EIP功能的场景使用。 通过配置SSH隧道访问MRS集群Manager：用户和MRS集群处于不同的网络中，可以创建一个SSH隧道连接，使用户访问站点的数据请求发送到MRS集群并动态转发到对应的站点。
-
通过管理控制台添加自定义参数 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“组件管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。 将页面右侧“基础配置”切换为“全部配置”。 图1 全部配置 在左侧导航栏定位到某个一级节点，并选择“自定义”，MRS将显示当前组件的自定义参数。 自定义参数支持服务级别与角色级别，请根据业务实际需要选择。 不支持单个角色实例添加自定义参数。 “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。 根据配置文件与参数作用，在对应参数项所在行“参数”列输入组件支持的参数名，在“值”列输入此参数的参数值。 支持单击或，增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。 修改某个参数的值后需要取消修改，可以单击恢复。 单击“保存配置”，根据界面提示保存配置。
-
通过Manager页面查看节点状态（MRS 2.x及之前版本） 登录MRS Manager。 单击“主机管理”，看所有主机状态。 主机操作状态和健康状态分别如下表所示。 表5 主机操作状态 状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离，主机上的服务角色停止运行。 表6 主机健康状态 状态 描述 良好 主机心跳检测正常。 故障 主机心跳超时未上报。 未知 执行添加操作时，主机的初始状态。 单击列表中指定的主机名称，查看单个主机状态及指标。 定制、导出监控图表。 在“图表”区域框中，单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间，单击“查看”显示该时间段内的监控数据。 单击“导出”，导出当前查看的指标数据。
-
通过管理控制台查看节点状态 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“节点管理”。 展开节点组名称，可查看节点基本信息、节点状态、CPU使用率、内存使用率、磁盘使用率等信息。 在主机列表单击指定的主机名称，可查看更详细的节点信息。 表1 MRS集群节点信息 参数 参数说明 节点组名称 集群节点组名称。 节点类型 节点组对应的节点类型，可参考MRS集群节点类型说明。 单击节点组名称前方的，显示该节点组包含的节点，单击节点名称，使用创建集群时配置的密码或者密钥对远程登录弹性云服务器。节点参数说明请参见查看MRS集群组件监控指标。 节点数 对应节点组中包含的节点数量。 付费类型 显示购买集群时的付费类型，包含“按需计费”和“包年/包月”。
-
修改MRS集群组件配置参数对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、 MapReduce服务 属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。
-
配置静态资源（2.x及之前版本） 修改系统资源调整基数。 在MRS Manager界面，单击“系统设置”，在“资源管理”区域单击“静态服务池”。 单击“配置”，显示服务池配置组管理页面。 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。 修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点，则所有服务使用的最大物理资源百分比不能超过此参数值。 单击“下一步”完成编辑。 需要重新修改参数，可单击页面下方的“上一步”。 修改服务池默认“default”配置组。 在“服务池配置”表格中Flume、HBase、HDFS、Impala和YARN服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 所有服务使用的“CPU LIMIT(%)”资源配置总和可以大于100%。 所有服务使用的“CPU SHARE(%)”和“I/O(%)”资源配置总和需为100%。例如为HDFS和Yarn服务分配使用的CPU资源，2个服务分配到的CPU资源总和为100%。 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%，也可以大于100%。 “Memory(%)”不支持动态生效，仅在“default”配置组中可以修改。 单击页面空白处完成编辑，MRS Manager将根据集群硬件资源与分配情况，在“详细配置”生成服务池参数的正确配置值。 如果根据业务需要，可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。 在“服务池配置”单击指定的服务名，“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数，在新增加的配置组中显示名将包含配置组的编号，例如“HBase : RegionServer : dynamic-config1.RES_CPUSET_PERCENTAGE”，参数作用与“default”配置组中的参数相同。 表1 静态服务池参数一览 参数名 参数描述 RES_CPUSET_PERCENTAGE dynamic-configX.RES_CPUSET_PERCENTAGE 配置服务使用CPU PERCENTAGE。 RES_CPU_SHARE dynamic-configX.RES_CPU_SHARE 配置服务使用CPU share。 RES_BLKIO_WEIGHT dynamic-configX.RES_BLKIO_WEIGHT 配置服务占用I/O的权重。 HBASE_HEAPSIZE 配置RegionServer的JVM最大内存。 HADOOP_HEAPSIZE 配置DataNode的JVM最大内存。 yarn.nodemanager.resource.memory-mb 配置当前节点上NodeManager可使用的内存大小。 dfs.datanode.max.locked.memory 配置DataNode用做HDFS缓存的最大内存。 FLUME_HEAPSIZE 配置每个flume实例能使用的最大JVM内存。 IMPALAD_MEM_LIMIT 配置impalad实例可使用的最大内存。 添加自定义资源配置组。 是否需要根据时间自动调整资源配置？ 是，执行3.b。 否，执行4。 单击增加新的资源配置组。在“调度时间”，单击编辑按钮显示时间策略配置页面。 根据业务需要修改以下参数，并单击“确定”保存： “重复”：当勾选“重复”时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”：支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “介于”：表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间，如果与已有配置组的时间区间有重叠，则无法保存。仅在“重复”模式中生效。 “default”配置组会在所有未定义的时间段内生效。 新增加的配置组属于动态生效的配置项集合，在配置组应用的时间区间内可直接生效。 新增加的配置组可以被删除。最多增加4个动态生效的配置组。 选择任一种“重复策略”，如果结束时间小于开始时间，默认标识为第二天的结束时间。例如“22:00”到“6:00”表示调度时间为当天22点到第二天6点。 若多个配置组的“重复策略”类型不相同，则时间区间可以重叠，且生效的策略优先级从低到高的顺序为“每天”、“每周”、“每月”。例如，有“每月”与“每天”的调度配置组，时间区间分别为4:00到7:00，6:00到8:00，此时以每月的配置组为准。 若多个配置组的“重复策略”类型相同，当日期不相同时，则时间区间可以重叠。例如，有两个“每周”的调度配置组，可以分别指定时间区间为周一和周三的4:00到7:00。 在“服务池配置”修改各服务资源配置，并单击页面空白处完成编辑，然后执行4。 用户可单击“服务池配置”右侧的编辑按钮重新修改参数。如果根据业务需要，在“详细配置”单击编辑按钮，手动更新由系统生成的参数值。 保存配置。 单击“保存”，在“保存配置”窗口勾选“重新启动受影响的服务或实例。”，单击是保存并重启相关服务。 界面提示“操作成功。”，单击“完成”，服务成功启动。
-
为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台，在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库：安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库：安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例，该实例需要先在RDS服务创建后在此处引用，且已创建数据库，具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考创建并配置RDS实例操作。 单击“确定”完成创建。
-
配置用户私有属性 以业务用户登录FusionInsight Manager。 设置Independent属性后，管理员不能初始化私有用户（业务用户设置了Independent属性后，即为私有用户）的密码；如果忘记此用户密码，密码将无法找回。 admin用户无法设置Independent属性。 移动鼠标到界面右上角的用户名。 在弹出的菜单栏中单击“设置Independent”或“取消Independent”。 私有属性功能开关已开启，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已开启，业务用户当前已取消私有属性时，菜单栏显示“设置Independent”。 私有属性功能开关已关闭，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已关闭，业务用户当前已取消私有属性时，菜单栏不显示。 根据界面提示，输入密码，单击“确定”完成身份验证。 身份验证通过后，在确认对话框中单击“确定”。
-
前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中添加租户，例如创建租户sparkstatic1，具体请参见添加MRS租户章节。 对于开启了Kerberos认证的集群，需要创建一个业务用户，例如创建用户“sparkuser”，该用户属于hive、hadoop、supergroup组，主组为hive，角色绑定sparkstatic1。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
