检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka
CSV文件输入 概述 “CSV文件输入”算子，用于导入所有能用文本编辑器打开的文件。 输入与输出 输入：文本文件。 输出：多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符，用于分隔每行的数据。 string 是 , 换行符
更新域 概述 “更新域”算子，当满足某些条件时，更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时，运算符为“+”时，表示在字符串后追加
算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CSV文件输入
在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”，勾选“集群管理操作权限 ”。 说明： 设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。
开发Flink应用 DataStream程序 向Kafka生产并消费数据程序 异步Checkpoint机制程序 Stream SQL Join程序 父主题： Flink开发指南
开发HBase应用 HBase样例程序开发思路 创建Configuration 创建Connection 创建HBase表 删除HBase表 修改HBase表 插入HBase数据 删除HBase数据 使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题： HDFS开发指南
HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量
Oozie应用开发流程 本文档主要基于Java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。
调测Doris应用 在本地Windows环境中调测Doris应用 在Linux环境中调测Doris应用 父主题： Doris开发指南（普通模式）
方式认证。 Client 客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题： Oozie开发指南（安全模式）
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题： HBase开发指南（普通模式）
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
直处于等待状态 问题现象 使用MRS服务安装集群，主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时，发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka
DataNode概率性出现CPU占用接近100%导致节点丢失 问题背景与现象 DataNode概率性出现CPU占用接近100%，导致节点丢失（ssh连得很慢或者连不上）。 图1 DataNode出现CPU占用接近100% 原因分析 DataNode有许多写失败的日志。 图2 DataNode写失败的日志
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 用户问题 利用Hue的Sqoop操作把HBase中的数据导入HDFS时报错： Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
l/hadoop/share/hadoop/common/lib”）自带了PgSQL驱动包“gsjdbc4-*.jar”，与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4
MRS 3.2.0-LTS.1.8补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息 父主题： MRS集群补丁说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
