检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
鲲鹏V1实例型裸金属服务器的规格 规格名称/ID vCPU 内存（GB） 网络 physical.ks1ne.4xlarge 128 512 分布式 physical.ks1ne.8xlarge 128 1024 父主题： MRS集群部署说明
String 参数解释： 可用区域ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azName String 参数解释： 可用区域名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azCode String 参数解释： 可用区域英文名称。 约束限制： 不涉及
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题：
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题： 使用HDFS
设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。若HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。
对于已安装HBase组件的节点组扩容时： 如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS，也可以请通过查询对应版本元数据查询返回
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查集群是否安装过相关紧急补丁 使用root用户登录集群主节点，并进入“/home/omm”目录。 查看是否存在“MRS_3.1.0_HBase_patch_20220929”、“MRS_3.1.0_OBSA_Patch_20230428”、“MRS_3
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写memstore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region
Sqoop1.4.7适配MRS 3.x集群 Sqoop是专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移，MRS旧版本中未自带Sqoop，客户可参考此文档自行安装使用。MRS 3.1.0及之后
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写MemStore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region
据复制到正式表即可。 图1 Replicated*MergeTree引擎表迁移架构图 分布式表迁移： 分布式表不涉及表数据，只涉及表的元数据信息，迁移过程中会将源集群ClickHouse分布式表的元数据信息导出，然后将元数据信息修改为目标集群的ZooKeeper路径和副本，根据修改后的元数据信息在目标集群新建表即可。
查看HBase应用调测结果 HBase应用程序运行完成后，可直接通过运行结果查看应用程序运行情况。 也可以通过HBase日志获取应用运行情况。 运行结果会有如下成功信息： 2018-01-17 19:44:28,068 INFO [main] examples.HBaseExample:
keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，
impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件
Manager首页，选择“集群 > 服务 > HBase > 配置 > 全部配置”，查看“hbase.bucketcache.size”配置是否合理，该值越大读缓存越大，有助于提升读取性能，在节点剩余内存前提下适当调大该配置，单击“保存”保存配置。单击“概览”，选择“更多 > 重启服务”，重启HBase服务。
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题： 使用Oozie
集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
