检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux中调测HBase应用 安装客户端时编译并运行HBase应用 未安装客户端时编译并运行HBase应用 查看HBase应用调测结果 父主题: 调测HBase应用
Join数据倾斜问题 执行任务的时候,任务进度长时间维持在99%,这种现象叫数据倾斜。 数据倾斜是经常存在的,因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大,导致大部分Reduce都已完成任务,但少量Reduce任务还没完成的情况。 解决数据倾斜的问题,可通过设置“set
磁盘容量不足产生致命告警,Spark、Hive和Yarn服务不可用。 问题现象 用户创建的集群显示磁盘容量不足,产生致命告警,导致Spark、Hive和Yarn服务不可用。 原因分析 由于集群磁盘容量不足,会影响到HDFS的数据写入,HDFS磁盘空间使用率超过阈值,因此导致HDFS服务异常。HD
前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下
前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下
问题背景与现象 使用MRS流式安全集群,主要安装ZooKeeper、Storm、Kafka等。 定义拓扑访问HDFS、HBase等组件,使用客户端命令,提交Topology失败。 可能原因 提交拓扑中没有包含用户的keytab文件。 提交拓扑中包含的keytab和提交用户不一致。 客户端/tmp目录下已存在user
前目录的所有jar文件。 将“clickhouse-examples\out\artifacts\clickhouse_examples.jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/
创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时,可以在创建集群的界面看到ZooKeeper组件,并默认勾选。 父主题: 集群创建类
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/
样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1 各组件样例工程汇总 组件 样例工程位置
Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”中的hosts数组中填写安装HiveS
在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点上存在的数据库,在“数据表”处选择待迁移的数据表,数据表下拉列表中展示的是所选数据库中的MergeTree系列引擎的分区表。“节点信息”中展示的为当前迁入节点、迁出节点上ClickHouse服务数据目录的空间使用情况,单击“下一步”。
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Storm应用
在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点上存在的数据库,在“数据表”处选择待迁移的数据表,数据表下拉列表中展示的是所选数据库中的MergeTree系列引擎的分区表。“节点信息”中展示的为当前迁入节点、迁出节点上ClickHouse服务数据目录的空间使用情况,单击“下一步”。
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作
在Hive命令行执行drop表的操作后,通过命令hdfs dfsadmin -report查看磁盘空间,发现表没有删除。 原因分析 在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。 处理步骤 使用root用户登录安装客户端的节点,并认证用户。 cd
同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上,在进行关联操作计算时,避免了到别的数据节点上获取数据的动作,降低了网络带宽的占用。 Client HDFS Client主要包括五种方式:JAVA
连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上,在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上,在运行一段时间以后会出现Core节点的数据盘被占满的情况。
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。 相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 Spark是一个开源的,并行数据处理框架,能够帮助用户简单、快速的开发大数据应用