检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的时候，在某些场景下，都会存在一些很难解决的问题： 如果把海量小文件直接保存在HDFS中，会给NameNode带来极大的压力。 由于HBase接口以及内部机制的原因，一些较大的文件也不适合直接保存到HBase中。 HFS的出现，就是为了解决需要在Hadoop中存储海量小文件，同时
根据HDFS上报告警的相关帮助文档恢复HDFS服务的运行状态为“良好”，执行3。 重建关键目录数据。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看“告警ID”为“19036”告警的“告警原因”，确认丢块的目录。 根据丢块的目录执行相应恢复操作：
name=nodeagent" | grep -v grep 检查查询结果是否为空。 是，执行19。 否，执行21。 查看Agent启动与运行日志排查故障原因，待故障解决后执行20。 Agent运行日志：/var/log/Bigdata/nodeagent/agentlog/agent.log Agent启
其子目录进行批量备份与恢复。使用Zookeeper提供的客户端脚本查看znode数量的方式： 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Zookeeper > 实例”，查看Zookeeper各角色的管理IP。 登录客户端所在
YARN无法严格控制每个container使用的CPU资源。在使用CPU子系统时，container可能会超额占用资源。此时使用CPUset控制资源分配。 为了解决这个问题，CPU将会被严格按照虚拟核和物理核的比例分配至各个container。如果container需要一整个物理核，则分配给它一整个物
in登录Ranger管理页面。 rangeradmin用户默认密码为“Rangeradmin@123”，详细内容请参见用户账号一览表。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Policy Name”名称为“all - table, column-family
在RDS管理控制台，选择“实例管理”，选择MRS数据连接使用的RDS实例所在行的操作列的“更多 > 登录”，以root用户登录该实例。 图4 登录RDS实例 在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库，会导致MRS配置数据连接失败。 图5 新建数据库 在页面顶部选择“账号管理
间间隔为400ms、800ms、1600ms、3200ms、6400ms，12800ms，那么close函数最多需要25.2秒才能返回。 解决办法 可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增
in登录Ranger管理页面。 rangeradmin用户默认密码为“Rangeradmin@123”，详细内容请参见用户账号一览表。 在首页中单击“Settings”，选择“Roles”。 单击Role Name为admin的角色，在“Users”区域，单击“Select User”，选择2
的JobHistory时，由于使用了SSL安全加密，需要确保curl命令所支持的SSL协议在集群中已添加支持。若不支持，可采用如下两种方案解决： 修改集群中配置的SSL协议。例如，若curl仅支持TLSv1协议（TLSv1协议存在安全漏洞，请谨慎使用），修改方法如下： 登录FusionInsight
算实例的资源，也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。 表1 典型资源组使用场景 典型场景 解决方案 随着使用计算实例的业务团队的增加，当某个团队的任务更加重要并且不想执行查询时没有资源。 每个团队分配一个指定的资源组；重要任务分配到
化对资源分配或业务逻辑进行更改时，手动扩缩容的场景客户可以登录集群节点进行操作。对于弹性伸缩场景，MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定
Spark多租户HA方案实现 JDBCServer多主实例方案中，JDBCServer实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，而一个
通过ECS访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”，进入ECS管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。
闭此功能。由于批处理中分区中插入记录的数量众多，总会出现小文件。Hudi提供了一个选项，可以通过将对该分区中的插入作为对现有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert
exec.mini-batch.size: 5000 使用local-global两阶段聚合减少数据倾斜 Local-Global聚合是为解决数据倾斜问题提出的，通过将一组聚合分为两个阶段，首先在上游进行本地聚合，然后在下游进行全局聚合，类似于MapReduce中的 Combine
场景二：MRS ClickHouse集群后端主机所在机房需要搬迁，需要将ClickHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求，MRS提供了ClickHouse集群数据一键式工具搬迁能力，将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。
作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 MRS多租户介绍： MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务
现TGT过期或者Token过期异常导致应用无法长时间运行。DataSight修改了Kerberos登录方式，只允许用户登录一次，可以有效的解决过期问题。限制在于，Hive相关的principal与keytab的配置项必须与Spark配置相同。 说明： 当参数值为true时，需要保证“spark-defaults
现TGT过期或者Token过期异常导致应用无法长时间运行。DataSight修改了Kerberos登录方式，只允许用户登录一次，可以有效的解决过期问题。限制在于，Hive相关的principal与keytab的配置项必须与Spark配置相同。 说明： 当参数值为true时，需要保证“spark-defaults
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
