检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。
单击配置空间监控,可以指定HDFS文件系统目录进行监控。 资源使用(按副本) 按副本数统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件数”观察。 资源使用(按文件大小) 按文件大小统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件数”观察。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。
根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。
max.connections.per.user.overrides=[showcase:4]' --entity-type brokers --entity-name 1 --command-config Kafka/kafka/config/client.properties 通过2查看该用户当前最大连接数是否为0,当前用户的连接数是否减少或不变
基本概念 以下为常见的基本概念,可以帮助用户减少学习Kerberos框架所花费的时间,有助于更好的理解Kerberos业务。
确认并排查在该时间点,是否有新增任务大量访问HDFS,确认该任务是否可以调优,减少对HDFS的访问。 如果在该时间点有执行Balancer,则可以停止Balancer,或指定节点执行Balancer任务,来降低对HDFS的负载。 等待1小时,查看该告警是否自动消除。
是 为了更方便进行用户权限管理,请尽可能使用细粒度策略,减少RBAC策略的使用,细粒度策略判断action时以deny优先原则。
softCpuLimit 可选 在一个周期内(参见全局属性的cpuQuotaPeriod参数)可以使用CPU的时间,必须同时指定hardCpuLimit参数,在达到该阈值后,该资源组内占据最大CPU资源的查询的CPU资源会被减少。
非安全的排序减少了数据加载操作期间的垃圾回收(GC),从而提高了性能。默认值为“true”,表示启用非安全排序功能。 enable.offheap.sort true 在数据加载期间启用堆排序。
非安全的排序减少了数据加载操作期间的垃圾回收(GC),从而提高了性能。默认值为“true”,表示启用非安全排序功能。 enable.offheap.sort true 在数据加载期间启用堆排序。
同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。
配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 表1 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。
建议根据源表需要导出的数据量来评估Region个数,估算方式如下: 源表大小(3副本) * 源表解压膨胀率 * HBase数据膨胀率(可估计为10)/ 单个Region上限(通常为10GB)/ 压缩及编码压缩率 请根据实际业务需求进行评估,例如,源表采用ORC格式存储,占用空间100GB
0 : 1); } 样例4:类CollectionCombiner实现了在map端先合并一下map输出的数据,减少map和reduce之间传输的数据量。
1 否 taskmanager.memory.fraction TaskManager在JVM堆内存中保留空间的比例,此内存用于排序,哈希表和中间状态的缓存。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 coreDataVolumeSize Integer 参数解释: Core节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。单位为GB。
使用Manager界面图形化的角色管理功能来管理Hive数据库和表的权限,只需要设置元数据权限,系统会自动关联HDFS文件权限,减少界面操作,提高效率。 Hive用户对象 MRS提供了用户和角色来使用Hive,比如创建表、在表中插入数据或者查询表。