云服务器内容精选

  • 不同版本的Hive之间是否可以兼容? Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下: 字段类型约束:Hive 3.1不支持String转成int。 UDF不兼容:Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容:Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。 Hive 3.1对ORC文件列名大小写,下划线敏感。 Hive 3.1版本列中不能有名为time的列。 父主题: 产品咨询类
  • 更新客户端配置(2.x及之前版本) 方法一:所有版本集群均支持使用。 登录 MRS Manager页面,选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图2 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令,更新客户端配置。 sh refreshConfig.sh 客户端安装目录客户端配置文件压缩包完整路径 例如: sh refreshConfig.sh /opt/Bigdata/client /tmp/MRS-client/MRS_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh components client config. 方法二: 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。 sudo su - omm 执行以下命令切换客户端目录。 cd {客户端安装目录} 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。 sh autoRefreshConfig.sh 命令执行后显示如下信息,其中XXX表示集群安装的组件名称,如需更新全部组件配置,单击“Enter”键,如需更新部分组件配置,请输入需要更新的组件名称,多个组件名称以逗号相隔。 Components "xxx" have been installed in the cluster. Please input the comma-separated names of the components for which you want to update client configurations. If you press Enter without inputting any component name, the client configurations of all components will be updated: 界面显示以下信息表示配置更新成功: Succeed to refresh components client config. 界面显示以下信息表示用户名或者密码错误: login manager failed,Incorrect username or password. 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。
  • 创建LakeFormation数据连接 创建LakeFormation数据连接的功能,需要联系技术支持申请开通白名单。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数,单击“确定”完成创建。 表1 配置LakeFormation数据连接 参数 说明 类型 选择“LakeFormation”,当前仅MRS 3.3.0-LTS及之后版本支持连接该类型。 名称 数据连接的名称。 LakeFormation实例 选择LakeFormation实例名称。 该实例需要先在LakeFormation实例创建后在此处引用,具体请参考创建LakeFormation实例。单击“查看LakeFormation实例”查看已创建的实例。 虚拟私有云 需要与待对接的MRS集群在同一虚拟私有云。 子网 选择子网名称。 VPC终端节点 选择VPC终端节点,或单击“创建对应LakeFormation实例的VPC终端节点”进行创建。 选择VPC终端节点后,产生的费用将由VPCEP服务收取。 LakeFormation委托 选择“现有委托”,并选择创建对接LakeFormation权限的委托创建的委托,例如“visit_lakeformation_agency”。 图3 新建LakeFormation数据连接 创建完成后,在“数据连接”页面记录已创建数据连接的ID。
  • 创建对接E CS /BMS云服务委托 登录华为云管理控制台,选择“ 统一身份认证 服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS BMS” 持续时间:根据实际情况自定义 在选择策略界面右上角单击“新建策略”,配置如下信息,单击“下一步”。 策略名称:自定义 策略配置方式:选择JSON视图 策略内容:配置如下信息 { "Version": "1.1", "Statement": [ { "Action": [ "iam:agencies:assume" ], "Resource": { "uri": [ "/iam/agencies/授予给自身账号具备访问LakeFormation权限的委托ID", "/iam/agencies/授予给自身账号具备访问OBS权限的委托ID" ] }, "Effect": "Allow" } ] } 授予给自身账号具备访问LakeFormation权限的委托ID:可参考6获取。 授予给自身账号具备访问OBS权限的委托ID:可参考6获取。 选择新创建的自定义委托名称,单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托完成。
  • 创建对接OBS权限的委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,选择相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“visit_obs_agency” 委托类型:选择“普通账号” 委托的账号:输入被委托的华为云账号名称 持续时间:根据实际情况自定义 在选择策略界面右上角单击“新建策略”,配置如下信息,单击“下一步”。 策略名称:例如“dev_visit_obs” 策略配置方式:JSON视图 策略内容:填入如下信息。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:object:GetObject", "obs:object:ModifyObjectMetaData", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:object:AbortMultipartUpload", "obs:bucket:ListBucket", "obs:object:PutObject" ], "Resource": [ "OBS:*:*:bucket:*", "OBS:*:*:object:*" ] } ] } Resource参数中“bucket”的参数值表示OBS桶名称,“object”的参数值表示OBS对象名称,可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。 其他参数按照实际需求进行配置。 勾选新建的策略名称例如“dev_visit_obs”,单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。
  • 创建对接LakeFormation权限的委托 登录华为云管理控制台,选择“统一身份认证服务 IAM ”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,配置相关参数,单击“下一步”。 参数配置如下: 委托名称:例如“visit_lakeformation_agency” 委托类型:选择“普通账号” 委托的账号:输入被委托的华为云账号名称 持续时间:根据实际情况自定义 图1 创建委托 在选择策略界面右上角单击“新建策略”,配置如下信息,单击“下一步”。 策略名称:例如“dev_visit_lakeformation” 策略配置方式:“可视化视图”或“JSON视图” 策略内容: 策略中必须包含“lakeformation:policy:export”和“lakeformation:role:describe”。其他参数按照实际需求进行配置。 可视化视图:“云服务”选择“ 湖仓构建 ”;“操作”中选择所需操作权限。其他参数按照实际需求进行配置。 JSON视图,例如配置策略内容如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "lakeformation:table:create", "lakeformation:database:alter", "lakeformation:table:alter", "lakeformation:database:drop", "lakeformation:database:create", "lakeformation:role:describe", "lakeformation:policy:create", "lakeformation:policy:export", "lakeformation:function:alter", "lakeformation:function:describe", "lakeformation:table:drop", "lakeformation:catalog:describe", "lakeformation:table:describe", "lakeformation:function:drop", "lakeformation:database:describe", "lakeformation:function:create", "lakeformation:transaction:operate" ] } ] } 勾选新建的策略名称例如“dev_visit_lakeformation”,单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问LakeFormation权限的委托ID。 图2 查看委托ID
  • MRS集群节点配置 表3 集群节点信息 参数 描述 示例 CPU架构 MRS集群节点的CPU架构类型,可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。 x86计算 常用模板 当“集群类型”选择“自定义”时该参数有效,常用模板包含“管控合设”、“数据分设”和“管控分设”,具体详情请参考MRS集群部署类型说明选择。 管控合设 节点组名称 设置集群内节点组的名称。 Master节点组名称固定为“master_node_default_group”。 系统会根据集群所包含的组件自动创建对应Core节点组,例如当选择“ClickHouse”组件时,系统会添加ClickHouse节点组,并在该节点组默认部署ClickHouseServer角色。 “集群类型”为“自定义集群”时,其他节点组名称可自定义。 当集群数据量变化不大而集群业务处理能力需求变化比较大,可选择手动添加Task节点组,参考创建MRS集群时手动添加Task节点组。 node_group_1 节点类型 “集群类型”为“自定义集群”时,可手动选择非Master节点组的节点类型,如果指定节点组类型为Task,则该节点组仅能部署NodeManager角色(除节点必备角色外)。 Core 付费类型 MRS集群中节点的计费模式。 Master和Core节点组的计费模式与集群所选计费模式保持一致。 Task节点组的计费模式固定为“按需计费”。 按需计费 节点数 配置各节点组内的节点个数。 Master节点组的节点数量最少为3个,最多不超过9个。 Core节点组至少存在一个,Core节点和Task节点的数量之和不能超过10000个。 “集群类型”为“自定义集群”时,可以单击“添加节点组”,添加多个节点组。 说明: 过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。 - 实例规格 选择MRS集群节点的实例规格,可单击进行调整。 关于MRS集群节点规格的详细说明可参考MRS集群节点规格说明。 说明: 节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。 不同可用区内的实例规格可能有差异,如果当前可用区下的实例规格不满足需求,可尝试切换其他可用区。 当Core节点规格选择为HDD磁盘时,MRS无需为数据磁盘付费,但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘 节点系统盘的存储类型和存储空间,可根据需要进行调整,更多MRS集群存储说明请参考磁盘角色。 - 数据盘 节点数据盘的存储类型和存储空间,为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,更多MRS集群存储说明请参考磁盘角色。 - LVM 仅当创建流式Core节点时,该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。MRS 3.x及之后版本不支持该参数。 启用逻辑卷管理(LVM)时,会将节点中所有磁盘以逻辑卷的方式挂载,能够更加合理的规划磁盘,避免磁盘不均匀的问题,提升系统的稳定性。 不开启 拓扑调整 “集群类型”为“自定义集群”时,可手动调整集群内各组件在节点组的部署情况。 设置“拓扑调整”为“开启”,然后根据业务需要调整实例部署方式,具体说明请参见自定义集群拓扑调整说明。 不开启
  • 创建MRS集群时手动添加Task节点组 当前MRS集群如需规划Task节点组进行弹性伸缩,在配置集群节点信息过程中,可参考以下步骤进行操作: 添加分析Task节点组: 对于集群类型为“分析集群”或“混合集群”的集群: 系统会自动添加分析Task节点组“task_node_analysis_group”,请根据实际需求设置节点数量、实例规格及节点磁盘配置。 若不需要该分析Task节点组,可手动删除。 对于集群类型为“自定义”的集群: 在集群节点配置区域,单击“添加节点组”,手动添加一个新的节点组。 配置“拓扑调整”参数为“开启”。 手动选择角色拓扑,使该节点组只包含NodeManager角色(NM)即可。 在集群创建完成后,通过手动添加节点组的方式添加Task节点组,可参考添加Task节点。 添加流式Task节点组: 对于集群类型为“流式集群”、“混合集群”且包含Storm组件的集群: 系统会自动添加流式Task节点组“task_node_streaming_group”,请根据实际需求设置节点数量、实例规格及节点磁盘配置。 若不需要该流式Task节点组,可手动删除。
  • 查看MRS集群创建失败任务 如果集群创建失败后,失败任务会自动转入“失败任务管理”页面。 在集群列表页面单击进入“失败任务管理”页面,在“任务状态”列中,将鼠标移动到任务状态上可以查看到失败原因。 MRS集群创建失败错误码列表如表6所示。 表6 错误码 错误码 说明 MRS.101 用户请求配额不足,请联系客服提升配额。 MRS.102 用户Token为空或不合法,请稍后重试或联系客服。 MRS.103 用户请求不合法,请稍后重试或联系客服。 MRS.104 用户资源不足,请稍后重试或联系客服。 MRS.105 现子网IP不足,请稍后重试或联系客服。 MRS.201 因ECS服务导致失败,请稍后重试或联系客服。 MRS.202 因IAM服务导致失败,请稍后重试或联系客服。 MRS.203 因VPC服务导致失败,请稍后重试或联系客服。 MRS.400 MRS内部出错,请稍后重试或联系客服。
  • 自定义购买MRS集群 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”页签。 创建集群时需要注意配额提醒。当资源配额不足时,建议按照提示申请足够的资源,再创建集群。 在“基础配置”区域,设置MRS集群基础信息。 计费模式:集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 区域:待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 根据界面提示,配置MRS集群信息。 创建集群时,您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置 MRS集群网络配置 MRS集群节点配置 MRS集群其他配置 集群信息全部配置完成后,单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 若您选择“按需计费”时,可能因为冻结保证金失败或者账号可能存在风险导致下单失败,请联系技术支持处理。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。 集群创建的状态过程请参见表1中的“状态”参数说明。
  • MRS集群网络配置 表2 MRS集群网络配置参数 参数 描述 示例 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络(VPC),如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云(VPC)网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。网络ACL出规则配置请参考如何配置网络ACL出规则?。 说明: 创建MRS集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件,则每一个组件需要再加一个IP。若单独购买ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 - 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 创建MRS集群时,系统默认自动创建一个安全组,也可选择下拉框中已有的安全组。 说明: 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“创建弹性公网IP”进入弹性公网IP服务进行购买。 说明: 弹性公网IP必须和集群在同一区域。 暂不绑定
  • MRS集群版本配置 表1 MRS集群配置参数 参数 描述 示例 集群类型 根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务的集群。 自定义:提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 选择要MRS集群内要部署的组件。 请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 - 元数据 是否使用外部数据源存储集群的Hive、Ranger元数据。 本地元数据: 元数据存储在集群本地。 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 在创建MRS集群时,支持对接LakeFormation实例,存储Hive、Spark等组件元数据,可参考配置LakeFormation数据连接。 在集群创建完成后,可以手动配置集群组件元数据存储至外部数据源,可参考管理MRS集群元数据。 本地元数据 组件端口 当前MRS集群内各组件默认通讯端口值的策略,LTS版本集群支持配置。 开源:开源组件的默认通讯端口遵循开源社区的规范不做修改,与开源社区保持一致。 定制:定制组件的默认通讯端口与开源社区不一致。 开源默认端口与定制默认端口区别请参考MRS集群服务常用端口列表。 开源
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 说明 类型 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 数据连接的名称。 数据库实例 RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 待连接的数据库的名称。 用户名 登录待连接的数据库的用户名。 密码 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,HBase和Yarn默认不会对访问用户进行鉴权,所有用户可以访问HBase和Yarn中的资源。 管理员可以根据业务实际需要,在普通模式集群中配置开启HBase和Yarn鉴权,或关闭HDFS和ZooKeeper鉴权。 该章节仅适用于MRS 3.x及之后版本。
  • 配置OBS权限控制映射关系 在MRS控制台,选择“现有集群”并单击集群名称。 在“概览”页签的基本信息区域,单击“OBS权限控制”右侧的“单击管理”。 单击“添加映射”,并参考表1配置相关参数。 表1 添加OBS权限控制映射关系 参数 说明 IAM委托 选择2中创建的委托。 类型 User:在用户级别进行映射 Group:用户组级别进行映射 说明: 用户级别的映射优先级大于用户组级别的映射。若选择Group,建议在“MRS用户(组)”一栏,填写用户的主组名称。 请避免同个用户名(组)出现在多个映射记录上。 MRS 用户(组) MRS中的用户(组)的名称,以英文逗号进行分隔。 说明: 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以MRS_ECS_DEFAULT_AGENCY中的OBS OperateAccess的权限访问OBS。对于组件内置用户不建议绑定在委托中。 如需对组件内置用户在以下场景提交作业时配置委托,要求如下: 如需对spark-beeline的操作进行权限控制,开启Kerberos认证的集群配置用户名“spark”,未开启Kerberos认证的集群配置用户名“omm”。 如需对hbase shell的操作进行权限控制,开启Kerberos认证的集群配置用户名“hbase”,未开启Kerberos认证的集群配置用户名“omm”。 如需对Presto的操作进行权限控制,开启Kerberos认证的集群配置用户名“omm”、“hive”和登录客户端的用户名,未开启Kerberos认证的集群配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。 当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新,表示映射生效(过程大约需要1分钟)。 在关系列表的“操作”列可以对已添加的关系进行编辑和删除。 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以集群配置的委托在“ 对象存储服务 ”项目下所拥有的权限访问OBS。 无论用户是否配置OBS权限控制,只要配置AK、SK时,将以AK、SK的权限访问OBS。 映射关系的修改、创建、删除需要用户有Security Administrator权限。 修改映射关系后,若想使之在spark-beeline中生效,需要重启Spark服务,若想使之在Hive beeline中生效,需要退出beeline重新进入,若想使之在Presto服务中生效,需要重启Presto服务。