检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且把输
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群
修改ClickHouse服务级别内存限制 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 为保证ClickHouseServer实例所在节点其他服务实例的正常使用,ClickHouseServer支持修改在当前节点占用的最大内存。 操作步骤 登录FusuinInsight
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据,导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
HDFS的DataNode一直显示退服中 用户问题 HDFS的DataNode一直显示退服中。 问题现象 HDFS的某个DataNode退服(或者对Core节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode
ClickHouse多租户介绍 本章节内容仅适用于MRS 3.2.0及之后版本。 ClickHouse多租户介绍 ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型,使用户拥有对集群资源的管理能力,目前支持内存和CPU优先级管理。多租户设计模型如下图所示:
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。当该选项
使用Share Lib工具检查Oozie依赖Jar包正确性 Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。
Doris集群高可用方案概述 支持MySQL协议的客户端通过FE与Doris集群建立连接,为了防止单点故障通常需要部署多个FE节点,并在多个FE上部署负载均衡来实现Doris的高可用。 根据不同业务的使用场景,可以选择如下的方式配置Doris高可用功能: 业务侧代码实现 SDK ELB负载均衡
持。 Kerberos用户对象 Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“
查询外部Hive数据源使用自动刷新物化视图注意事项 维护实例默认使用HetuEngine内置用户hetuserver/hadoop.<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下:
ple样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集
该主机名对应的IP在ifconfig命令下的回显列表中不存在。 该文件中存在一个IP对应多个主机名的情况。 该文件中不存在hadoop本端域名映射关系,例如: xxx hadoop.example.com。(仅适用于MRS 3.2.0-LTS.1.10版本) /etc/ssh/sshd_config检查文件的检查标准
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时,出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示: 2016-10-19 01:33:34
配置仅Hive管理员用户能创建库和在default库建表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,允许有目录读权限和执行权限的用户和用户组创建外部表,而不必检查用户是否为该目录的属主,并且禁止外
配置仅Hive管理员用户能创建库和在default库建表 操作场景 Hive支持配置仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否做出调整。
配置用户在具有读和执行权限的目录中创建外表 “hive.restrict.create.grant.external.table”参数用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表,而不必检查用户是否为该目录的属主,并且禁止外表的Location目录在当前默认