检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Region。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常,异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。
集群内部节点:MRS集群创建完成后,集群内的master和core节点默认已经安装好客户端,详情请参见集群内节点使用MRS客户端章节,登录安装客户端的节点。 集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见集群外节点使用MRS客户端章节,登录安装客户端的节点。 使用Spark客户端 登录安装客户端的节点。
提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件 父主题:
ver实例。 单击Yarn服务的“实例”页签,勾选所有ResourceManager和TimelineServer实例,选择“更多 > 滚动重启实例”。 (可选)根据业务需要,在业务低峰时滚动重启NodeManager。 实例重启完成后,删除HDFS上的存放历史任务信息的目录,例
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络写吞
IDEA工具开发。 Kafka的运行环境即Kafka客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
率小于阈值的90%时,该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍
步以及增量的Checkpoint机制。 精确一次语义:Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性,为某些特定的存储支持了事务型输出的功能,即使在发生故障的情况下,也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分
--port ClickHouse的端口号 --database 数据库名 输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。 例如,当前执行以下建表语句,在ClickHouse实例上的默认数据库和用户下创建和3中相同表结构的ReplicatedMergeTree表warehouse_t1。
JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始,必须先使用当前类加载器加载该驱动类。 如果classpath下没有相应的jar包,则客户端程序抛出Class
基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用Spa
提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件 使用HDFS异步删除特性
String 参数解释: 配置组件default用户密码,该密码用于ClickHouse组件人机用户连接使用。 约束限制: 不涉及 取值范围: 密码长度应在8-26个字符之间 不能与用户名或者倒序用户名相同 必须包含如下4种字符的组合 至少一个小写字母 至少一个大写字母 至少一个数字
进入Yarn服务实例页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Yarn > 实例”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题: 管理MRS集群
Flume > 实例”。查看任一部署Flume角色节点的“业务IP”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 将此节点上的用户认证文件,复制到安装Flume客户端的节点,保存到
0及以后版本。 使用场景 将Lookup Join的结果写入到多个sink端时,无需为每个sink复制一个Lookup join算子,提高作业的执行效率。 使用方法 配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer