检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在未扩容之前分配的locators,平衡的使用了所有数据节点。当扩容后,新加入的数据节点并未分配到已经创建的locators中,所以使用Colocation来存储数据的时候,只会往旧的数据节点存储数据。 由于locators与特定数据节点相关,所以当集群进行扩容的时候,就需要对C
在未扩容之前分配的locators,平衡的使用了所有数据节点。当扩容后,新加入的数据节点并未分配到已经创建的locators中,所以使用Colocation来存储数据的时候,只会往旧的数据节点存储数据。 由于locators与特定数据节点相关,所以当集群进行扩容的时候,就需要对C
在未扩容之前分配的locators,平衡的使用了所有数据节点。当扩容后,新加入的数据节点并未分配到已经创建的locators中,所以使用Colocation来存储数据的时候,只会往旧的数据节点存储数据。 由于locators与特定数据节点相关,所以当集群进行扩容的时候,就需要对C
用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基于标签的数据块摆放策略,为指定的文件选择DataNode节点进行存放时,会根据文件的标签表达式选
UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。单
AZ名 产生告警的AZ名称。 主机名 产生告警的主机名。 对系统的影响 AZ的健康状态由AZ内的存储资源(HDFS)、计算资源(Yarn)和关键角色的健康度是否超过配置阈值决定。 AZ亚健康有两种: 计算资源(Yarn)不健康,存储资源(HDFS)健康,任务无法提交到本AZ,但是数据可以继续往本AZ内读写。
一个DataBase内,只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要恢复很长时间。
将datasource表的分区消息存储到Metastore中,并在Metastore中对分区消息进行处理。 优化datasource表,支持对表中分区执行增加、删除和修改等语法,从而增加与Hive的兼容性。 支持在查询语句中,把分区裁剪并下压到Metastore上,从而过滤掉不匹配的分区。 示例如下:
将datasource表的分区消息存储到Metastore中,并在Metastore中对分区消息进行处理。 优化datasource表,支持对表中分区执行增加、删除和修改等语法,从而增加与Hive的兼容性。 支持在查询语句中,把分区裁剪并下压到Metastore上,从而过滤掉不匹配的分区。 示例如下:
x及之后版本需配置该参数) 当前已使用的文件数的数据采集周期为1个小时,因此超过文件数阈值的告警上报会存在延迟。 存储空间配额 :填写租户目录的存储空间大小。 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占
MRS集群所有组件日志(如HDFS服务全部日志)支持通过主机接入的方式对接云日志服务。云日志服务(LTS)用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备
使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前SQL执行的数据库以界面上显示的数据库为准。
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 扩容包周期集群 登录MRS管理控制台。 选择“现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“节点管理”页签,在需要扩容的节点组的“操作”列单击“扩容”,进入扩容集群页面。 只有运行中的集群才能进行扩容操作。
通过数据校验,保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中,HDFS默认采用CRC32C算法校验数据的正确性,同时也支持CRC32校验算法,CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据,如果发现客户端传递过来的数据有异常(不
Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume分为客户端
存储组。 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度)导致写入命令阻塞。 用户应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。
说明文件对应的第2列,即5分钟指标ID即可找到对应的指标说明。 部分字段说明: 实时指标ID:指标的采集周期为30s/60s的指标ID,一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID:指标对应的5分钟(300s)的指标ID。 指标采集周期(秒):主要是针
Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方,用于收集数据。同时,提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume分为客户端
在root根目录下,勾选“读”,则表示在root根目录下递归的所有路径上的时间序列,具有读取数据的权限。 单击root,进入存储组资源类型,在对应的存储组权限上勾选“读”,表示在该存储组递归的所有路径上的时间序列,具有读取数据的权限。 单击指定的存储组,进入时间序列资源类型,在对应的时间序列权限上勾选“读”,则表示具有向该时间序列读取数据的权限。
and_found队列,而不是test21队列。 发生上述情况的原因是,任务未完成时,RM状态存储中存储的还是应用程序移动前的队列状态。唯一的解决办法就是等RM重启后,再次移动应用程序,将新的队列状态信息写入状态存储中。 父主题: Yarn常见问题