检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader运维管理 Loader常用参数 Loader日志介绍 父主题： 使用Loader
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase，详情如下： 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase。
配置FlinkServer作业运行残留信息自动清理 操作场景 Flink任务异常停止时会在ZooKeeper、HDFS中残留目录，开启FlinkServer目录残留清理功能可以清理残留目录。 配置作业残留信息自动清理步骤 登录Manager页面。 选择“集群 > 服务 > Flink
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory.class
端口被占用导致RegionServer启动失败 问题现象 Manager页面监控发现RegionServer状态为Restoring。 原因分析 通过查看RegionServer日志（/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log）。 使用lsof
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为sink和维表。 本示例以安全模式Kafka
使用Loader从HDFS导出数据到MOTService 操作场景 本章节适用于MRS 3.3.0及之后版本。 在MOTService中需要根据表中数据版本字段对表进行更新操作，MOTService外部表不支持Upsert语句，您可以使用Loader将文件从HDFS导出到MOTService
创建FlinkServer作业写入数据至HDFS文件系统 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍HDFS作为sink表的DDL定义，以及创建sink表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 本章节适用于MRS 3.x及后续版本。 前提条件
ALTER TABLE COMPACTION 命令功能 ALTER TABLE COMPACTION命令将合并指定数量的segment为一个segment。这将提高该表的查询性能。 命令格式 ALTER TABLE[db_name.]table_name COMPACT 'MINOR
DBService日志介绍 日志描述 日志存储路径：DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB：“/var/log/Bigdata/dbservice/DB”（gaussDB运行日志目录），“/var/log
Loader常用参数 本章节适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关
加速Merge操作 加速后台任务，需要优先调整Zookeeper服务配置，否则Zookeeper会因为znode等资源不足，导致ClickHouse服务异常，后台任务异常。 调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群 > Zookeeper
修改Manager用户 功能简介 通过访问Manager接口完成修改用户。 代码样例 以下代码片段是修改用户的示例，在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成修改用户 operationName
Loader算子帮助 Loader算子说明 Loader输入类算子 Loader转换类算子 Loader输出类算子 管理Loader算子的字段配置信息 Loader算子配置项中使用宏定义 Loader算子数据处理规则 父主题： 使用Loader
Loader日志介绍 日志描述 日志存储路径：Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog：“/var/log/Bigdata/loader/runlog”（运行日志） scriptlog：“/var/log/Bigdata
INSERT INTO CARBON TABLE 命令功能 INSERT命令用于将SELECT查询结果加载到CarbonData表中。 命令格式 INSERT INTO [CARBON TABLE] [select query]; 参数描述 表1 INSERT INTO参数 参数
Ranger日志介绍 日志描述 日志存储路径：Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin：“/var/log/Bigdata/ranger/rangeradmin”（运行日志），“/var/log/Bigdata
UNION | INTERSECT | EXCEPT UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL
ZooKeeper日志介绍 日志描述 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
