检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ris的运维监控能力。 需开启Doris慢查询功能才能在Manager界面可视化显示并管理Doris慢查询信息。默认情况下,为了减少慢查询对环境资源的影响,Doris慢查询功能是关闭的,可通过配置自定义参数“query_history_enable”开启该功能。 该功能仅适用于MRS
le”。使用“huser1”创建一个数据库“hdb”,并在此数据库中创建表“htable”。 操作步骤 表授权 用户在Hive和HDFS中对自己创建的表拥有完整权限,用户访问别人创建的表,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户
le”。使用“huser1”创建一个数据库“hdb”,并在此数据库中创建表“htable”。 操作步骤 表授权 用户在Hive和HDFS中对自己创建的表拥有完整权限,用户访问别人创建的表,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户
管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否做出调整。 因为对执行用户做了限制,使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面: MRS
配置互信MRS集群的用户权限 配置完跨Manager集群互信后,需要在互信的系统上设置访问用户的权限,这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 配置互信集群的用户权限(MRS 3.x及之后版本) 登录本端系统的FusionInsight
配置Ranger安全区信息 Ranger支持配置安全区,Ranger管理员可将各组件的资源切分为多个安全区,由对应Ranger管理员用户为区域的指定资源设置安全策略,以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源,服务的资源被划分到安全区后,非安全区针对该资源的访
配置Ranger安全区信息 Ranger支持配置安全区,Ranger管理员可将各组件的资源切分为多个安全区,由对应Ranger管理员用户为区域的指定资源设置安全策略,以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源,服务的资源被划分到安全区后,非安全区针对该资源的访
式加载本地文件。 注意事项: Hive外表通过整体添加Hive的MetaStore的方式,将全量元数据在Doris中呈现。 实时数据加载 对实时性要求较高的场景,可直接将实时流式数据通过FlinkSQL传入Doris中,在Doris中进行实时查询。如果数据在加载到Doris之前需
d1.s2)”的结果。 带自定义参数输入的查询。 您可以在进行UDF查询的时候,向UDF传入任意数量的键值对参数。键值对中的键和值都需要被单引号或者双引号引起来。注意,键值对参数只能在所有时间序列后传入。例如: SELECT example(s1, 'key1'='value1'
、内存等的资源分配)。 NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务的执行,而NodeManager管理抽象容器,这些容
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时,不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例: select * from default.tbl_src where id = 10001; select
缩容集群 用户可以根据业务需求量,通过简单的缩减Core节点或者Task节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 目前支持缩容Core节点和Task节点,不支持缩容Master节点。对集群进行缩容时,只需要在界面调整节点个数,MRS会自动选择缩容节点,完成缩容任务。
添加删除MRS集群组件 创建MRS集群时,用户可自行选择集群内包含的服务组件,集群创建成功后,管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。
元数据管理 当创建MRS集群选择部署Hive和Ranger组件时,MRS提供多种元数据存储方式,您可以根据自身需要进行选择: 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:MRS
极端情形下是否可以接管业务,可由系统维护人员以及决策人员根据当前的数据同步指标来决定。 容灾功能当前仅支持一主一备。 通常情况下,不允许对备集群的灾备表进行表级别的操作,例如修改表属性、删除表等,一旦误操作备集群后会造成主集群数据同步失败、备集群对应表的数据丢失。 主集群的HB
手动锁定:由管理员通过手动的方式将用户锁定。 以下将具体介绍手动锁定。不支持锁定“机机”用户。如需解锁MRS集群用户请参考解锁Manager内创建的用户。 锁定MRS集群用户对系统的影响 用户被锁定后,不能在Manager重新登录或在集群中重新进行身份认证。锁定后的用户需要管理员手动解锁或者等待锁定时间结束才能恢复使用。
TED状态)。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群,等待的消耗对集群影响较大。HDFS可以通过配置NameNode参数“dfs.namenode.file.close.num-committed-allo
库应用有广泛而深刻的理解和认识,才能在调优过程中找到关键瓶颈点,解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
极端情况下是否可以接管业务,可由系统维护人员以及决策人员根据当前的数据同步指标来决定。 容灾功能当前仅支持一主一备。 通常情况下,不允许对备集群的灾备表进行表级别的操作,例如修改表属性、删除表等,一旦误操作备集群后会造成主集群数据同步失败、备集群对应表的数据丢失。 主集群的HB
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec ...]) 参数描述 表1 ADD COLUMNS参数描述 参数 描述 tableName