检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面,选择“集群
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。
添加Oracle数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置Oracle数据源实现对Oracle数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加Oracle类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群,目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需
CLEAN FILES 命令功能 DELETE SEGMENT命令会将被删除的segments标识为delete状态;segment合并后,旧的segments状态会变为compacted。这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件,可以使用CLEAN
准备Linux客户端环境 背景信息 安装Linux客户端用于拓扑的提交。 前提条件 确认Storm组件已经安装,并正常运行。 客户端机器的时间与集群的时间要保持一致,时间差要小于5分钟。 操作步骤 下载Storm客户端程序。 登录MRS Manager系统。 选择“服务管理 > Storm
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute File System)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上)
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute FileSystem)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上) 需要很高的吞吐量
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute File System)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,非常适合大规模数据集应用。 HDFS适用于如下场景: 处理海量数据(TB或PB级别以上)
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下:
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(若当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
查看Loader作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查
CREATE SECONDARY INDEX 命令功能 该命令用于在CarbonData表中创建二级索引表。 命令格式 CREATE INDEX index_name ON TABLE [db_name.]table_name (col_name1, col_name2) AS 'carbondata'
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(如果当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示: 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache
ClickHouse日志介绍 日志描述(MRS 3.2.0及之后版本) 日志路径:ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouse运行相关日志:“/var/log/Bigdata/clickhou