检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。 已知: 终端用户每次请求一个广告后,会生成广告请求事件,保存到kafka的adRequest
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息,更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
ClickHouse表创建 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制,用户在创建表时可以通过指定引擎选择该表是否高可用,每张表的分片与副本都是互相独立的。 同时ClickHouse依靠Distributed引擎实现了分
约束与限制 使用MRS前,您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问。
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载,并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
迁移MRS集群内ClickHouse数据至其他MRS集群 本章节仅适用于MRS 3.2.0及之后版本。 操作场景 场景一:随着MRS ClickHouse业务数量的增长,原有集群的存储和计算资源已不满足业务需求,需要对集群进行拆分,将部分用户业务及数据库数据迁移到新建集群中。 场景二:MRS
MRS集群阈值类告警配置说明 应用场景 MRS集群提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态。 MRS支持配置监控指标阈值用于关注各指标的健康情况,如果出现异常的数据并满足预设条件后,系统将会触发告警信息,并在告警页面中出现此告警信息。