检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存放持久化的数据,是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下,使用Task节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变化不大而集群业务处理能力需求变化比较大,临时需要增大业务量时,可选择添加Task节点。
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源(SFTP服务器或关系型数据库)使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OB
“simple认证”:在客户端连接服务端的过程中,默认以客户端执行用户(例如操作系统用户“root”或“omm”)自动进行认证,管理员或业务用户不显式感知认证,不需要kinit完成认证过程。 “用户名密码认证”:使用集群中“人机”用户的用户名与密码进行认证。 “无认证”:默认任意的用户都可以访问服务端。
v4网段”。 图1 获取IPv4网段地址 在VPC控制台左侧导航处选择“访问控制 > 网络ACL”,单击MRS集群默认生效子网和切换后子网关联的网络ACL名称,选择“入方向规则”页签。 若集群的默认生效子网和切换后子网均关联网络ACL,则两个子网关联的网络ACL中均需参考6~8增加入方向规则。
元数据权限即在元数据层上进行权限控制,与传统关系型数据库类似,HetuEngine数据库包含“建表”和“查询”权限,表和列包含“查询”、“插入”、“UPDATE”和“删除”权限。HetuEngine中还包含拥有者权限“OWNERSHIP”和集群管理员权限“ADMIN”。 数据文件权限,即HDFS文件权限 He
3.1-LTS.1.1 发布时间 2024-07-24 解决的问题 MRS 3.3.1-LTS.1.1修复问题列表: 解决设置用户密码永久生效后,会产生密码过期告警的问题。 解决Manager的fms进程线程泄露的问题。 解决修改chrony的域名后nodeagent启动失败的问题。
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
tracking_url String 参数解释: 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,MRS服务侧数据会因为未更新导致该参数引用旧EIP导致访问失败,可通过对集群重新进行EIP的绑定来修复该问题。
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。 父主题: 使用Hive
该告警的“定位信息”,查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > TokenServer直接内存使用率”,单击“确定”。
删除用户绑定的supergroup用户组 删除supergroup用户组会导致相关用户权限变小,影响业务访问。 修改前确认需要添加的权限,确保用户绑定的supergroup权限删除前,相关权限已经添加,不会对业务造成影响。 重启、停止服务 重启过程中会中断服务,如果勾选同时重启上层服务会导致依赖该服务的上层服务中断。
为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多 > 退服”。 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseS
客户端创建Topic。 管理Kafka主题中的消息:在Kafka客户端消费已创建的Topic中的消息。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。
ClickHouse支持日志文件大小和文件数目的调整。 登录FusionInsight Manager界面,访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 日志”,可修改ClickHouseServer审计日志和运行日志的文件大小和文件数目。
当“使用外部数据源存储元数据”开启时,选择数据连接类型为“RDS服务MySQL数据库”,数据连接实例选择已创建的数据连接实例,或单击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非ro
通过Manager参看Kafka服务是否处于正常状态,当前可用Broker是否小于设置的replication-factor。 检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,发现配置中缺少/kafka。 [root@10-10-144-2
配置ClickHouse默认用户密码(MRS 3.1.2-LTS版本) ClickHouse集群创建成功后,可以通过ClickHouse客户端访问连接ClickHouse服务端,默认的用户名为“default”。 该操作指导ClickHouse集群创建成功后,设置ClickHouse的用户名密码。 本章节适用于MRS
可能原因 omm密码过期。 处理步骤 检查系统中omm密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l omm命令来查看当前omm用户密码设置信息。 查找“Password expires”对应值,查看密码设置是否过期。
YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响意义。用户可通过如下操作对Flink集群性能做优化。