检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下场景： 更改DataNode角色的存储目录，所有DataNode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录，只对单个实例生效，其他节点DataNode实例存储目录不变。 对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。
以下场景： 更改DataNode角色的存储目录，所有DataNode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录，只对单个实例生效，其他节点DataNode实例存储目录不变。 对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。
HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后，HBase会依赖用户写入数据的时间戳（毫秒）和时间分界点来判断数据的冷热。数据开始存储在热存储上，随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点，数据可以从热存储到冷存储，也可以从冷存储到热存储。 图1 HBase冷热分离原理图
如果OBS桶配置了KMS加密，同时需要勾选“KMS Administrator”策略。 图2 配置权限 单击“下一步”，选择权限范围方案，默认选择“所有资源”，单击“展开其他方案”，选择“全局服务资源”，单击“确定”。 在弹出的提示框中单击“知道了”，开始授权。界面提示“授权成功。”，单击“完成”，委托成功创建。
anager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定NodeManager节点上运行的方案。 操作步骤 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 配置Yarn参数指定s
Hudi开发规范概述 范围 本规范主要描述基于MRS-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
更改Broker角色的存储目录，所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录，只对单个实例生效，其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务，服务重启时无法访问。 更改Broker单个实例的存储目录需要重
使用Impala操作Kudu表 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据，作为使用Kudu API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
at java.lang.Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如： [root@xxxxx ~]# cat /proc/sys/net/ipv4/neig
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
MRS支持什么类型的分布式存储？ 问： MRS集群支持什么类型的分布式存储？有哪些版本？ 答： MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。
使用Impala操作Kudu表 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据，作为使用Kudu API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
Metastore的频率，增加了缓存机制，默认缓存1小时，所以使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表。 解决方案： 执行SQL时设置参数：hoodie.datasource.hive_sync.interval=0 set hoodie.datasource
高性能利器-MRS ClickHouse重磅推出 基于MRS-ClickHouse构建用户画像系统方案介绍 基于MRS-Hudi构建数据湖的典型应用场景介绍 大数据分析实践 实时数据湖表存储设计方法（基于Hudi表） 如何基于MRS-Hudi实现拉链表 MRS HDFS细粒度锁优化实践
''/tmp/input/mapdata'': No files matching path file:/tmp/input/mapdata 原因分析 当前登录的用户不具备操作此目录的权限或者在HiveServer所在节点上没有此目录。 解决方案 通常不建议使用本地文件加载数据到hive表。
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
使用选择生成分区分配以选择要使用的分区方案 支持界面执行分区重新分配（基于生成的分区方案） 支持界面选择配置创建主题（支持多种Kafka版本集群） 支持界面删除主题（仅支持0.8.2+并设置了delete.topic.enable = true） 支持批量生成多个主题的分区分配，并可选择要使用的分区方案 支持批量运行重新分配多个主题的分区
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
