检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
退订MRS包周期集群指定节点 用户可以根据业务需求量,通过指定节点对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 目前一次操作最多可以退订20个Core节点,退订后的Core节点数不能小于2。 退订节点时,须等待隔离/退服成功后,才能进行退订操作,否则会造成数据丢失等风险。
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小? 回答 在某些情况下,已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中,不建议允许诊断消息无限增长。因此,需要有一个属性参数用于设置诊断消息的最大大小。
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小? 回答 在某些情况下,已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中,不建议允许诊断消息无限增长。因此,需要有一个属性参数用于设置诊断消息的最大大小。
系统盘 节点系统盘的存储类型和存储空间,可根据需要进行调整,更多MRS集群存储说明请参考磁盘角色。 - 数据盘 节点数据盘的存储类型和存储空间,为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,更多MRS集群存储说明请参考磁盘角色。
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流
Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive
具体监控数据的规则如下: 如果FusionInsight Manager存储所用的GaussDB所在分区的磁盘使用率超过80%时,会清理实时监控数据和周期为5分钟的监控数据。 若为“租户资源”下的“存储资源(HDFS)”,0小时~300小时:每个间隔1小时,要求集群至少安装1小时以上,最多保留3个月监控数据。
单击“新建文件夹”,分别创建program文件夹,创建完成后如图1所示。 图1 文件夹列表 进入program文件夹,单击上传文件,从本地选择1中下载的程序包,“存储类别”选择“标准存储”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 提交sparkPi作业。 在MRS控制台选择“作业管理”,
采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop 9.1版本为例,讲解如何使用永洪BI访问安全模式集群的HetuEngine。 方案架构 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目
用户设置压缩级别,以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式,而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC,所以建议用户对数据压缩有特殊要求的场景下再使用此特性。 该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例
S路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区表,不支持将分区location配置为hdfs路径(存储在HDFS上的分区表也不支持修改分区location为OBS)。
分布式管理:提供集群模式,能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。 在执行数据查询时,列式存储可以减少数据扫描范围和数据传输时的大小,提高了数据查询的效率。
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。若HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
HiveServer2异常如何处理 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 Hive SQL与SQL2003标准有哪些兼容性问题 父主题: Hive开发指南(安全模式)
HiveServer2异常如何处理 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 Hive SQL与SQL2003标准有哪些兼容性问题 父主题: Hive开发指南(安全模式)
inverse_normal_cdf(mean, sd, p) → double 给定累积概率(p):P(N <n)相关的均值和标准偏差,计算正态累计分布函数的逆。平均值必须是实数值,标准偏差必须是正实数值。概率p必须位于间隔(0,1)上。 select inverse_normal_cdf(2,
S路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区表,不支持将分区location配置为hdfs路径(存储在HDFS上的分区表也不支持修改分区location为OBS)。
HyperLogLog(hll)是一种统计基数的算法。它实际上不会存储每个元素出现的次数,它使用的是概率算法,通过存储元素的32位hash值的第一个1的位置,来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构,当需要更高效处理时会转为密集型数据结构。P4Hyp
IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构,具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,来确保数据的一致性。针对时序场景,对存储数据进行预