检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
database 原因分析 使用ClickHouse过程中,ClickHouse实例异常场景下,重复创建集群ReplicatedMergeTree引擎表,后续又进行删除表等操作导致ZooKeeper上的数据异常,致使ClickHouse启动失败。 解决办法 备份问题节点数据库下所有表数据到其他目录。
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache
输入用户密码 参考Kafka引擎表使用语法说明,在ClickHouse中创建Kafka引擎表。例如,如下建表语句在default数据库下,创建表名为kafka_src_tbl3,Topic名为kafkacktest2、消息格式为JSONEachRow的Kafka引擎表。 create table
在“基本配置”区域中,选择“所属租户”为用户所关联的租户,配置“实例部署超时时间(秒)”和“实例数量”。 根据实际资源规划配置“Coordinator容器资源配置”、“Worker容器资源配置”以及“高级配置”区域相关参数,参数详情可参考创建HetuEngine计算实例章节或保持默认值即可。 创建计算实例时
常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题: HDFS应用开发常见问题
API使用类 调用API接口创建集群失败
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL) Y Y
为了保证ClickHouse服务的稳定,需要提早规划好对于底层依赖服务的设计,主要是ZooKeeper,尤其是在使用replicated*系列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点,根据节点CPU和内存规格,调整ZooKeeper实例的最大可用内存。
如何调用API 构造请求 认证鉴权 返回结果
superior引擎的判定数量。 number_pending_request int 挂起申请的总数。这反映了superior引擎的判定数量。 number_reserved_container int 预留container的总数。这反映了superior引擎的判定数量。 master_container_id
LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 您可以创建一个LakeFormation实例并与MRS集
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念
Presto应用开发简介 Presto简介 Presto是一种开源、分布式SQL查询引擎,用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下: 多数据源:Presto可以支持Mysql,Hive,JMX等多种Connector。 支持SQL:Presto完全支持ANSI
UM,REPLACE四种聚合算法。 方案架构 Doris支持海量数据的亚秒级查询,支持单表数据的聚合查询和多表关联查询。Doris不同的表引擎,适合不同的业务场景,可以根据业务特点选择不同的表格式。 图1 实时OLAP数据查询 操作流程 步骤1:通过StreamLoad将本地CSV文件导入Doris
支持多种查询引擎Spark和Hive,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL) Y Y Spark(SparkDataSource API) Y Y 表2 mor表 查询引擎 实时视图 增量视图
调整集群节点 功能介绍 创建集群后,扩容/缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。该接口不兼容Sahara。处于running状态的集群才允许扩容/缩容,其他状态则不允许扩容/缩容。 集群状态和集群ID可参考查询集群列表接口获取。
ink状态索引写入不会有问题,原因是Flink冷启动的时候会遍历所有的数据文件生成状态索引。 实时入湖场景中,Spark引擎采用Bucket索引,Flink引擎可以用Bucket索引或者状态索引。 实时入湖都是需要分钟内或者分钟级的高性能入湖,索引的选择会影响到写Hudi表的性能。在性能方面各个索引的区别如下: