检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 本章节适用于MRS 3.x及后续版本。 前提条件
加速Merge操作 加速后台任务,需要优先调整Zookeeper服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper
修改Manager用户 功能简介 通过访问Manager接口完成修改用户。 代码样例 以下代码片段是修改用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成修改用户 operationName
Loader算子帮助 Loader算子说明 Loader输入类算子 Loader转换类算子 Loader输出类算子 管理Loader算子的字段配置信息 Loader算子配置项中使用宏定义 Loader算子数据处理规则 父主题: 使用Loader
Loader日志介绍 日志描述 日志存储路径:Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog:“/var/log/Bigdata/loader/runlog”(运行日志) scriptlog:“/var/log/Bigdata
INSERT INTO CARBON TABLE 命令功能 INSERT命令用于将SELECT查询结果加载到CarbonData表中。 命令格式 INSERT INTO [CARBON TABLE] [select query]; 参数描述 表1 INSERT INTO参数 参数
Ranger日志介绍 日志描述 日志存储路径:Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin:“/var/log/Bigdata/ranger/rangeradmin”(运行日志),“/var/log/Bigdata
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 前提条件 MRS集群管理员已明确业务需求。 已登录
ZooKeeper日志介绍 日志描述 日志存储路径:“/var/log/Bigdata/zookeeper/quorumpeer”(运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能
ALTER RENAME TABLE 本章节内容仅适用于MRS 3.2.0-LTS至MRS 3.3.1-LTS版本。 命令功能 RENAME命令用于重命名现有表。 命令语法 ALTER TABLE oldTableName RENAME TO newTableName 参数描述 表
UNION | INTERSECT | EXCEPT UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL
DBServer实例一直处于Restoring状态 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/module
HTML输入 概述 “HTML输入”算子,导入有规则的HTML文件,并将HTML文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围 string
分隔转换 概述 “分隔转换”算子,将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入:需要分隔的字段 输出:分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名,需填写上一个转换步骤生成的字段名。 string 是
Spark输出 概述 “Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格式
停止运行的RegionServer,在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 问题 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉? 回答
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式
运行Manager应用报错“illegal character in path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager
HBase RegionServer GC参数Xms和Xmx的配置为31GB,导致RegionServer启动失败 问题 查看RegionServer启动失败节点的hbase-omm-*.out日志,发现日志中存在“An error report file with more information
停止运行的RegionServer,在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 问题 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉? 回答