检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Loader连接（MRS 3.x及之后版本） 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面： MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight
使用Kafka Token认证 场景说明 Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。 代码样例 Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下：
MRS组件应用安全认证说明 Kerberos认证说明 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用
Kafka安全使用说明 Kafka API简单说明 新Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。 旧Producer
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面： 登录FusionInsight Manager，具体请参见访问集群Manager，选择“集群 > 服务”。 选择“Loader”，在“Loader WebUI”右侧，单击链接，打开Loader的WebUI。
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数
BulkLoad工具配置文件说明 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时，支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理，组合生成新的rowkey。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。
使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据，以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell，需将查询命令写在spark.sql()的括号中。 本操作
Kafka相关特性说明 Kafka Idempotent 特性 特性说明：Kafka从0.11.0.0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息
使用Kafka Token认证 操作场景 Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。 代码样例 Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下：
使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据，以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell，需将查询命令写在spark.sql()的括号中。 本操作
BulkLoad工具配置文件说明 该章节主要介绍使用BulkLoad工具的其他配置操作以获取需要查看的数据。 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时，支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经
Kafka相关特性说明 Kafka Idempotent特性 特性说明：Kafka从0.11.0.0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息是
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发
配置ClickHouse对接HDFS源文件（MRS 3.3.0-LTS及之后版本） 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍安全模式ClickHouse对接安全模式HDFS组件进行文件读写。对于普通模式ClickHouse对接普通模式HDFS组
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
