检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在搜索框中搜索参数“hive.metastore-ext.balance.connection.enable”,修改该参数值为“true”。 单击“保存”,保存配置。 配置保存成功后,单击“实例”,勾选所有实例,选择“更多
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
> 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大。
Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight M
ne配置实现连接指定的MetaStore实例。 配置隔离时,考虑可用性,建议组件最少配置两个MetaStore实例。 前提条件 集群已安装Hive服务,且服务运行正常。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 >
Manager,选择“集群 > 服务 > Hive > 实例”。 在Hive实例列表中选择需要设置租约隔离的HiveServer,选择“实例配置 > 全部配置”。 在“全部配置”界面的右上角搜索“hive.server2.zookeeper.namespace”,“值”为具体设定值,比如为hiveserver2_zk。
HiveServer”。 在HiveServer列表里选择设置租约隔离的HiveServer,选择“HiveServer > 实例配置 > 全部配置”。 在“全部配置”界面的右上角搜索“hive.server2.zookeeper.namespace”,“值”为具体设定值,比如为hiveserver2_zk。
通过管理控制台导出集群配置 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择页面右上角“配置 > 导出集群配置”即可导出集群配置至本地。 本操作适用于MRS 2.x及之前版本。 图1 导出集群配置 通过Manager导出集群配置 登录MRS集群Manager管理界面。
单击“计算实例”: 导入实例配置文件:单击“导入”,在本地选择JSON格式的实例配置文件后,单击“打开”。 导入导出功能,仅保存计算实例的配置,不保存实例ID、名称、开始时间、结束时间、状态等信息,重新导入后,这些信息将会重新生成。 导出实例配置文件:勾选待导出的实例,然后单击“导出”,可将当前实例配置文件导出至本地。
Hive查询数据是否支持导出? 问: MRS集群Hive组件的查询数据是否支持导出? 答: Hive查询数据支持导出,请参考如下语句进行导出: insert overwrite local directory "/tmp/out/" row format delimited fields
模式不需要)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命
际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择“共享型”,“所属V
了防止单点故障通常需要部署多个FE节点,并在多个FE上部署负载均衡来实现Doris的高可用。 根据不同业务的使用场景,可以选择如下的方式配置Doris高可用功能: 业务侧代码实现 SDK ELB负载均衡 业务侧代码实现 在业务应用层通过代码进行重试和负载均衡,当发现某个连接中断,
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.disk.balancer.auto
关联、编辑、导入、导出算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。输入路径“输入目录”不参与过滤。配置多个过滤条件时使用逗号隔开,配置为空时表示不过滤目录。不支持正则表达式过滤。 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用逗号隔开。不能配置为空。不支持正则表达式过滤。
方式。 表3 输出设置参数 参数名 解释说明 示例 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。 说明: 路径参数可以使用宏定义,具体请参考配置项中使用宏定义。 /user/test 文件格式 文件导出类型: “TEXT_FILE”:导入文本文件并保存为文本文件。