检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS租户队列 用户可以根据业务需求，在MRS修改指定租户的队列配置，对队列进行扩容或缩容。Yarn任务队列和资源池关联，可实现资源的分配和调度。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
运行异步Checkpoint机制样例程序（Scala和Java语言）。 为了丰富样例代码，Java版本使用了Processing Time作为数据流的时间戳，而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下： 将Checkpoint的快照信息保存到HDFS。 Java bin/flink
务需求做定制 --enable-hive-sync // 开启hive同步，同步hudi表到hive --continuous // 指定流处理模式为连续模式 HoodieMultiTableDeltaStreamer流式写入 HoodieMultiTableDeltaStreamer流式写入仅适用于MRS
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
通过Hue执行HetuEngine SQL 操作场景 用户需要使用图形化界面在集群中执行HetuEngine语句时，可以通过Hue完成任务。 本章节适用于MRS 3.3.0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabr
运行异步Checkpoint机制样例程序（Scala和Java语言）。 为了丰富样例代码，Java版本使用了Processing Time作为数据流的时间戳，而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下： 将Checkpoint的快照信息保存到HDFS。 Java bin/flink
HBase过载调优 操作场景 当HBase业务突然出现峰值，短时间内大量请求发送到一个RegionServer/HMaster时，超过其可接受的范围，就会造成过载。过载会导致应用侧读写性能下降，HBase服务侧频繁GC，严重时会导致服务实例重启等。 当前HBase具有防过载能力，
使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作，也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时：已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）公告 漏洞描述 近日，华为云关注到Apache Log4j2存在一处远程代码执行漏洞（CVE-2021-44228），在引入Apache Log4j2处理日志时，会对用户输入的内容进行一些特殊的处理，攻击
使用Loader从HDFS导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS目录和数据。 ClickH
准备连接Doris集群配置文件 准备集群认证用户信息 对于未开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点，使用admin用户连接Doris服务。
配置Spark SQL开启Adaptive Execution特性 配置场景 Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下： 自动设置shuffle partition数
配置Spark SQL开启Adaptive Execution特性 配置场景 Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下： 自动设置shuffle partition数。
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线，每个生产线
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面，选择“集群
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组（默认共用克隆集群的）、节点组配置、Kerberos认证、主机名前缀、标签、委托（集群节点默认绑定的委托名称）、日志转储、日志记录
备份ClickHouse元数据 操作场景 为了确保ClickHouse集群中的元数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等）时，需要对ClickHouse集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
