检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse多租户介绍 ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型，使用户拥有对集群资源的管理能力，目前支持内存和CPU优先级管理。多租户设计模型如下图所示： 通过FusionInsight Manager服务配置和租户管理页面的操作，用户可以实现设
Group资源软限制的方案实现的，通过“用户 > 租户角色 > Workload Group”模型对Workload进行分组管理，以保证内存和CPU资源的灵活调配和管控。目前支持CPU、内存、并发数和等待队列管理，模型设计如图1所示。 该特性仅MRS 3.3.1及之后版本支持。 仅集群已启用Kerb
Flink开发规范概述 范围 本规范主要描述基于MRS-Flink组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时必须遵守的原则。 建议：编程时必须加以考虑的原则。
对同一目录创建多个外表，可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission
对同一目录创建多个外表，可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission
Hudi开发规范概述 范围 本规范主要描述基于MRS-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。 解决方法是修
管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制，包括Manager、HDFS N
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数
创建ZNode。 create /test 查看ZNode信息。 ls / 向ZNode中写入数据。 set /test "zookeeper test" 查看写入ZNode中的数据。 get /test 删除创建的ZNode。 delete /test 父主题： 使用ZooKeeper
API概览 MRS提供的符合RESTful API的设计规范的接口，如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口，具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters
在HBase连续对同一个表名做删除创建操作时出现创建表异常 问题 在HBase连续对同一个表名做删除创建操作时，可能出现创建表异常。 回答 执行过程：Disable Table > Drop Table > Create Table > Disable Table > Drop Table
在HBase连续对同一个表名做删除创建操作时出现创建表异常 问题 在HBase连续对同一个表名做删除创建操作时，可能出现创建表异常。 回答 执行过程：Disable Table > Drop Table > Create Table > Disable Table > Drop Table
在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行的任务继续执行，同时将该节点数据拷贝至其他节点，该节点进入退服状态，当该节点任务长时间运行无法结束时，会迁移至其他节点运行，最大限度地减少对集群业务的影响。 扩容集群
吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发，具体的API接口内容请参考https://docs.alluxio.io/os/javadoc/2
SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。 操作步骤 要
缩容集群 用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程（TSD）和一组命令
请参见删除HBase数据。 7 A业务结束后，删除用户信息表。 请参见删除HBase表。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统，RowKey的设计对性能影响很大，具体的RowKey设计请考虑与业务结合。 父主题： 开发HBase应用
请参见删除HBase表数据。 8 A业务结束后，删除用户信息表。 请参见删除HBase表。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统，RowKey的设计对性能影响很大，具体的RowKey设计请考虑与业务结合。 父主题： HBase数据读写样例程序
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
