检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本: 对于HDD盘,满足以下任意条件时触发告警: 系统默认每3秒采集一次数据,在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每3
Flux开发指引 操作场景 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架,用户可以使用yaml文件来定义和部署拓扑
Spark2x基本原理 Spark2x组件适用于MRS 3.x及后续版本。 简介 Spark是基于内存的分布式计算框架。在迭代计算的场景下,数据处理过程中的数据可以存储在内存中,提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从
HetuEngine用户权限说明 HetuEngine在集群已启用Kerberos认证(安全模式)时提供了如下两种权限管控方式,默认使用Ranger权限模型;在集群未启用Kerberos认证(普通模式)时提供了Ranger权限模型,默认未开启Ranger权限模型: Ranger权限管控方式
SparkSQL用户权限介绍 SparkSQL权限 类似于Hive,SparkSQL也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
SparkSQL权限介绍 SparkSQL权限 类似于Hive,SparkSQL也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组
Spark基本原理 Spark简介 Spark是一个开源的,并行数据处理框架,能够帮助用户简单、快速的开发大数据应用,对数据进行离线处理、流式处理、交互式分析等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop,Spark拥有明显的性能优势。Spark使用
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中,如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源,会使得后提交的Job一直处于等待状态,直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许用户定义不同优先级的
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面,用户可快速创建CDL作业,实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户(
Flink性能调优建议 Hudi MOR流表开启log Index特性提升Flink流读Mor表性能 Hudi的Mor表可以通过log index提升读写性能,在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。 通过调整对应算子并行度提升性能