检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量写入Hudi表 操作场景 Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
使用Loader导出MRS集群内数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件
运行SparkSubmit作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个SparkSubmit作业。 Spark是一个开源的并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理、流式处理、交互式分析等。
重启MRS集群组件 在修改了大数据组件的配置项后，需要重启对应的组件来使得配置生效，使用普通重启方式会并发重启所有服务或实例，可能引起业务中断。 为了确保服务重启过程中，尽量减少或者不影响业务运行，可以通过滚动重启来按批次重启服务或实例（对于有主备状态的实例，会先重启备实例，再重启主实例）。
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
备份Manager数据（MRS 3.x及之后版本） 操作场景 为了确保FusionInsight Manager系统日常数据安全，或者系统管理员需要对Manager进行重大操作（如扩容、减容等）前后，需要对Manager数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息
安装客户端（2.x及之前版本） MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，通过客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序，用于管理
备份ClickHouse业务数据 操作场景 为了确保ClickHouse日常用户的业务数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等），需要对ClickHouse数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
恢复Manager数据（MRS 3.x及之后版本） 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。
聚合函数 聚合函数对一组值进行运算，最终获得一个单值。 除count()、count_if()、max_by()、min_by()和approx_distinct()外，其他聚合函数都忽略空值，并在没有输入行或所有值都为空时返回空值。例如sum()返回null而不是零，并且avg
MRS 3.1.0补丁说明 MRS 3.1.0.0.15补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.0.0.15 发布时间 2024-6-7 补丁约束 如果之前集群安装过MRS_3.1.0_HBase_patch_20220929.tar.gz 、MRS_3.1.0
数学函数和运算符 数学运算符 运算符 描述 + 加 - 减 * 乘 / 除 % 取余 数学函数 abs(x) → [same as input] 返回x的绝对值 SELECT abs(-17.4);-- 17.4 bin(bigint x) -> string 返回x的二进制格式
配置Flink应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本： 对于HDD盘，满足以下任意条件时触发告警： 系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每
使用Loader导入数据 操作场景 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
