检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"template_type" : "clusterFusion", "image_id" : "ECS:X86:deda7c89-6069-46d3-af7c-4afc31eec0d9,ECS:ARM:d5f0087b-9fd7-4977-b9c8-d07262f452d6,BMS:
使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要
Security Services Daemon)缓存刷新需要时间,因此用户同步完成后,请等待5分钟,待新策略生效之后,再进行提交作业,否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类
BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类型。Hudi会根据
BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类型。Hudi会根据
ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常
据文件,否则在使用时会提示“Password has expired - change password to reset”,导致安全认证失败。
--topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。 默认情况下,ZooKeeper的“clientPort”为“2181”。 ZooKeeper角色实例所在节点
进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面,选择“集群
快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限,然后参考使用Kafka客户端生产消费数据(MRS 3.x之前版本)进行操作。 MRS 3.1.2及之后版本集群也可以通过登录Kafk
--topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。 默认情况下,ZooKeeper的“clientPort”为“2181”。 ZooKeeper角色实例所在节点
应的SDK代码示例。 状态码 状态码 描述 200 查询用户(组)与IAM委托的映射关系成功 400 查询用户(组)与IAM委托的映射关系失败 错误码 请参见错误码。 父主题: 委托管理
如果只希望运行基于atime/age的一个规则,则按照时间逆序排列,且将idempotent属性设置为false。 如果为文件集配置删除操作,则在删除操作后不能再配置其他规则。 支持使用"-fs"选项,用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态
即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport:
如果只希望运行基于atime/age的一个规则,则按照时间逆序排列,且将idempotent属性设置为false。 如果为文件集配置删除操作,则在删除操作后不能再配置其他规则。 支持使用"-fs"选项,用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态
配置的时间范围时,则以“默认范围”为准。 场景三:弹性伸缩规则与资源计划叠加使用 如果数据量并非非常平稳,有可能出现超出预期的波动,因此并不能保证固定Task节点范围一定可以满足业务场景,此时需要在资源计划的基础上根据实时负载对Task节点数量进行调整。 例如:某项实时处理业务数
logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport:
即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport: