检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper上数据错乱导致ClickHouse启动失败问题 问题现象 ClickHouse集群中某实例节点启动失败,该实例节点启动日志中有如下类似报错信息: 2021.03.15 21:01:19.816593 [ 11111 ] {} <Error> Application
配置Flink作业状态后端冷热数据分离存储 本章节适用于MRS 3.3.0及以后版本。 在宽表关联计算场景中,每张表字段较多,导致状态后端数据量较大,严重影响状态后端性能时,可开启状态后端冷热分级存储功能。 开启状态后端冷热分级存储功能步骤 安装包含Flink、HBase等服务的客户端
下载MRS客户端 登录MRS Manager,请参考登录MRS Manager。 选择“服务管理”。 单击“下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。当立刻重启NameNode时,NameNode会去检查所有DataNode
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 配置IoTDB应用安全认证 父主题: IoTDB开发指南(安全模式)
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置Spark Python3样例工程 父主题: Spark2x开发指南(普通模式)
准备Spark应用开发环境 准备Spark本地应用开发环境 配置Spark应用安全认证 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置Spark Python3样例工程 父主题: Spark2x开发指南(安全模式)
无业务情况下,RegionServer占用CPU高 问题背景 无业务情况下,RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息,查看CPU使用率高的进程号。 根据RegionServer的进程编号,获取该进程下线程使用
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在
MRS 3.1.2-LTS补丁说明 MRS 3.1.2-LTS.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.2-LTS.0.3 发布时间 2022-12-08 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。当立刻重启NameNode时,NameNode会去检查所有DataNode
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux环境中调测JDBC或Session应用 在Flink WebUI和Linux环境中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题: IoTDB
准备连接MapReduce集群配置文件 如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户,并下载认证凭据文件用于程序认证。 以下MapReduce权限配置示例供参考
ClickHouse客户端使用实践 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper
MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ
Spark基本原理 Spark简介 Spark是一个开源的,并行数据处理框架,能够帮助用户简单、快速的开发大数据应用,对数据进行离线处理、流式处理、交互式分析等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop,Spark拥有明显的性能优势。Spark使用
执行load data local inpath命令报错 问题现象 执行load data local inpath报如下错误: 错误1: HiveAccessControlException Permission denied. Principal [name=user1, type
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码,需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到
ALM-24004 Flume读取数据异常 告警解释 告警模块对Flume Source的状态进行监控,当Source读取不到数据的时长超过阈值时,系统即时上报告警。 默认阈值为0,表示不开启。用户可通过conf目录下的配置文件properties.properties修改阈值:修改对应
调测Hive应用 在本地Windows环境中调测Hive JDBC样例程序 在Linux环境中调测Hive JDBC样例程序 调测Hive HCatalog样例程序 调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序