检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/F
Spark基本原理 Spark简介 Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark
Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
配置FlinkServer作业重启策略 FlinkServer作业重启策略介绍 Flink支持不同的重启策略，以在发生故障时控制作业是否重启以及如何重启。如果不指定重启策略，集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略，可参考如何创建FlinkServer作业在作业开发界面配置（MRS
ALM-12033 慢盘故障（2.x及以前版本） 告警解释 MRS 2.x及以前版本： 对于HDD盘，满足以下任意条件时触发告警： 系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。 系统每3秒执行一次iostat命令，在300秒内有超过60%的IO超过150ms。
快速创建和使用HBase离线数据查询集群 操作场景 本入门提供从零开始创建HBase查询集群并通过集群客户端进行HBase表的创建与查询操作指导。 HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限，本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已
升级MRS集群Master节点规格 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务（Host
HetuEngine用户权限说明 HetuEngine在集群已启用Kerberos认证（安全模式）时提供了如下两种权限管控方式，默认使用Ranger权限模型；在集群未启用Kerberos认证（普通模式）时提供了Ranger权限模型，默认未开启Ranger权限模型： Ranger权
离线数据加载：通过StreamLoad将本地CSV文件导入Doris 应用场景 本地CSV文件数据通过StreamLoad导入到Doris，需要写入Doris的数据不重复，通过引入 Unique 数据模型保证 Key 的唯一性。 方案架构 离线数据可以从数据湖加载，也可以直接加载
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
在本地Windows环境中调测ClickHouse应用（MRS 3.3.0之前版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
在本地Windows环境中调测ClickHouse应用（MRS 3.3.0之前版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本： 对于HDD盘，满足以下任意条件时触发告警： 系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限，本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已
Flink作业RocksDB状态后端调优 本章节适用于MRS 3.3.0及以后版本。 Flink作业RocksDB介绍 当启用RocksDB作为作业的状态后端时，大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响： 在TaskMan
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表： --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into
MRS集群告警处理参考 ALM-12001 审计日志转储失败 ALM-12004 OLdap资源异常 ALM-12005 OKerberos资源异常 ALM-12006 节点故障 ALM-12007 进程故障 ALM-12010 Manager主备节点间心跳中断 ALM-12011
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
