检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创建或获取访问
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式： 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表
ALM-12047 网络读包错误率超过阈值 告警解释 系统每30秒周期性检测网络读包错误率，并把实际错误率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包错误率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 >
ALM-24003 Flume Client连接中断 告警解释 告警模块对Flume Server的连接端口状态进行监控。当Flume Client连接到Flume Server的某个端口，Client端连续3分钟未与Server端连接时，系统产生此告警。 当Flume Server
ALM-45001 HetuEngine计算实例故障 此告警仅适用于MRS 3.2.0及之后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例状态，当检测到HetuEngine服务存在故障计算实例时产生该告警。 HetuEngine故障计算实例全部恢复时，告警清除
ALM-45007 HetuEngine计算实例Worker个数小于阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例的Worker个数，当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警
ALM-50230 Doris BE连接OBS不可用 告警解释 系统每30秒周期性检查Doris BE实例节点对OBS的连接是否可用，当检查到连接状态码非零时，产生该告警。 当检测到连接状态码为零时，告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别
Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
ALM-38000 Kafka服务不可用 告警解释 系统按照30秒的周期检测Kafka服务是否可用，当Kafka服务不可用，系统产生此告警。 当Kafka服务恢复正常，告警自动清除。 告警属性 告警ID 告警级别 是否自动清除 38000 紧急 是 告警参数 参数名称 参数含义 来源
ALM-12027 主机PID使用率超过阈值 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求
离线数据加载：通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris，并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户，该代理用户为人机用户且需拥有
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/，
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos
Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS
ALM-50222 BE中指定数据目录的磁盘状态异常 告警解释 系统每30秒周期性检查BE中指定数据目录的磁盘状态，当检查到该值不等于1（1表示正常，0表示异常）时产生该告警。BE中指定数据目录的磁盘状态恢复正常，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50222
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
