检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群安全加固 MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile
HetuEngine DML SQL语法说明 INSERT DELETE UPDATE LOAD 父主题: HetuEngine常见SQL语法说明
HetuEngine TCL SQL语法说明 START TRANSACTION COMMIT ROLLBACK 父主题: HetuEngine常见SQL语法说明
HetuEngine DQL SQL语法说明 SELECT WITH GROUP BY HAVING UNION | INTERSECT | EXCEPT ORDER BY OFFSET LIMIT | FETCH FIRST TABLESAMPLE UNNEST JOINS Subqueries
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
> HetuEngine”,进入HetuEngine服务页面。
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区
配置Doris多租户 Doris多租户介绍 管理Doris租户 Doris多租户监控告警介绍 父主题: Doris企业级能力增强
HetuEngine DDL SQL语法说明 CREATE SCHEMA CREATE VIRTUAL SCHEMA CREATE TABLE CREATE TABLE AS CREATE TABLE LIKE CREATE VIEW CREATE FUNCTION CREATE
选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
Loader输出类算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: Loader算子帮助
选择“集群 > 待操作集群的名称 > 服务 > Yarn > 停止服务”,停止Yarn服务。 以root用户登录到安装Yarn服务的各个节点中,执行如下操作。 创建目标目录。
配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 yarn.nodemanager.vmem-check-enabled 是否进行虚拟内存检测的开关。
当Region处于Transition下,由于一些Region不能对外提供服务,导致客户端操作可能无法正常执行。 启用Region Transition恢复功能 在HMaster上设置chore服务,用于识别和恢复长期处于Transition的Region。
操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 > 全部配置”,进入HBase服务参数“全部配置”界面,配置以下相关参数以提升HBase读数据性能。
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 前提条件 MRS集群管理员已明确业务需求。 已登录
/ -tf yyyy-MM-dd\ HH:mm:ss -s sql.txt IoTDBServer实例节点的业务IP地址可登录FusionInsight Manager后选择“集群 > 服务 > IoTDB > 实例”查看。
配置HetuEngine使用代理用户鉴权 适用于MRS 3.3.0及以后版本。 HetuEngine支持使用FusionInsight Manager用户认证时通过客户自有用户(代理用户)使用Ranger鉴权的能力。即在使用HetuEngine客户端时,通过--session-user
前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。