检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群更换磁盘（适用于2.x及之前） 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群，如需为流式集群或混合集群更换磁盘，请联系华为云技术支持处理。
Flink Job Pipeline样例程序（Scala） 发送消息 下面代码片段仅为演示，完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.Information： package com
使用DBeaver访问Phoenix 应用场景 DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库，使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库（NoSQL），使用专有数据库驱动程序。 本章节以DBeaver 6.3.5版本为例，讲解如何使用DBeaver访问MRS
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
ClickHouse参数调优实践 表1 ClickHouse参数调优汇总 参数名 参数描述 默认值 建议值 是否需要重启生效 max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。
Flink Job Pipeline样例程序（Java） 发布Job自定义Source算子产生数据 下面代码片段仅为演示，完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource：
物联网时序数据分析架构如图1所示。 图1 物联网时序数据分析 数据源：物联网时序数据，包括离线的CSV文件数据、实时采集器采集的数据、或支持MQTT协议的物联网终端设备。 大数据平台：物联网时序数据分析的核心平台，包括实时数据管道、实时数据处理引擎、时序数据库等模块。 实时消息管道：用于接
cls) 为Job设置一个Combiner类。 Copy阶段的调优 数据是否压缩： 对Map的中间结果进行压缩，当数据量大时，会显著减少网络传输的数据量，但是也因为多了压缩和解压，带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时，压缩Map中间结果效果明显。针对b
cls) 为Job设置一个Combiner类。 Copy阶段的调优 数据是否压缩： 对Map的中间结果进行压缩，当数据量大时，会显著减少网络传输的数据量，但是也因为多了压缩和解压，带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时，压缩Map中间结果效果明显。针对b
当keystore和truststore的密码为加密密码时设置为true。 -Dzookeeper.ssl.enabled.protocols 通过配置此参数定义SSL协议以适用于SSL上下文。 -Dzookeeper.ssl.exclude.cipher.ext 通过配置此参数定义SSL上下文中应排除的密码列表，之间以逗号间隔。
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用于Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。 说明： 选择用户自己创建的安全组时，请确保入方向规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则，源地址请勿使用0.0.0.0/0，否则会有安全风险。若用户不清楚可信任的IP访问范围，请选择自动创建。
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在Oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先级别，VERY_HIGH
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
离线数据加载：通过CDM将Hive外表数据迁移到Doris 应用场景 离线数据，端到端时延无要求。在存在DataArts Studio工具的场景下，数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件
ALM-12015 设备分区文件系统只读（2.x及以前版本） 告警解释 系统周期性进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
