检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作,也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
ZooKeeper上数据错乱导致ClickHouse启动失败问题 问题现象 ClickHouse集群中某实例节点启动失败,该实例节点启动日志中有如下类似报错信息: 2021.03.15 21:01:19.816593 [ 11111 ] {} <Error> Application:
处于单task读写可接受范围之内。 如果是单个Bucket的数据量超过了该值范围,可能会有什么影响? 读写任务可能会出现OOM的问题,解决方法就是提升单个task的内存占比。 读写性能下降,因为单个task的处理的数据量变大,导致处理耗时变大。 父主题: Hudi数据表设计规范
”表示开启多源表写入。 “--allow-continuous-when-multiple-sources”表示开启多源表持续写入,如果未设置所有源表写入一次后任务就会结束。 sourceCommon.properties : hoodie.deltastreamer.ingestion
备份IoTDB业务数据 操作场景 为了确保IoTDB日常数据安全,或者系统管理员需要对IoTDB进行重大操作(如升级或迁移等),需要对IoTDB业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“hadoop
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“hadoop
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
ClickHouse表创建 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制,用户在创建表时可以通过指定引擎选择该表是否高可用,每张表的分片与副本都是互相独立的。 同时ClickHouse依靠Distributed引擎实现了分
项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景
查询特定标签的集群列表 功能介绍 使用标签过滤集群。 集群默认按照创建时间倒序,集群tag也按照创建时间倒序。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/resource_instances/action