检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件,用户可通过对应插件设置更细粒度的权限,具体操作请参考添加Ranger权限策略。
输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入MRS Manager页面。 在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 如需给其他用户开通访问MRS Manager的权限,请执行6-9,添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。
用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com.huawei.bigdata.iotdb.SessionbyKerberosExample”类。 在Manager界面,选择“集群 > 服务 > IoTDB > 实例”,查看待连接的IoTDBServer所在的节点IP。
ink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题: 安全
ink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf
HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS
在现有集群的标签页,执行标签的增、删、查操作。 登录MRS管理控制台。 在现有集群列表中,单击待管理标签的集群名称。 系统跳转至该集群详情页面。 选择“标签管理”页签,对集群的标签执行增、删、查。 查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加
构建被拷贝文件的文件列表时所用的线程数,该选项会提高distcp的运行速度。 -overwrite 覆盖目标位置的文件。 -update 如果源位置和目标位置的文件的大小,校验和不同,则更新目标位置的文件。 -append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。
修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令,查看各个节点的hostname值,根据此值来配置newhostname变量值 。 在hostname被修改的节点上执行sudo hostnamectl
NodeManager心跳丢失 告警解释 系统每30秒周期性检测丢失的NodeManager节点,并把丢失的节点数和阈值相比较。“丢失的节点数”指标默认提供一个阈值。当检测到“丢失的节点数”的值超出阈值时产生该告警。 用户可通过选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”,修改yarn
每个计划节点相应的代价。 这个代价是基于现实时间(wall time),而非CPU的相关时间。 对每一个计划节点,都可以看到额外的统计信息,例如每个节点实例的输入平均值,哈希碰撞(hash collisions)的平均次数。这些统计信息对于分析一条SQL语句中的数据异常情况(skewness数据倾斜,abnormal
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
此实例上运行的业务。 当JDBCServer进程停止时,删除在ZooKeeper上的相应节点。 由于客户端选择服务端的策略是随机的,可能会出现会话随机分配不均匀的情况,进而可能引起实例间的负载不均衡。 实例进入维护模式(即进入此模式后不再接受新的客户端连接)后,当达到退服超时时间
Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业,不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。 执行cleaning有两种方式:
性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据
在物联网场景中,海量设备采集的数据需要进行低延迟的高效接入、存储和分析,数据具有高度的时间属性相关特点,传统数据库基于二维表的数据模型,无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎,数据按设备管理架构和时间属性进行组织存储和访问,具备低
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果数据库异常,所有Manager的核心业务和相关业务进程(例如告警和监控入库、查询的功能)都会受影响。 可能原因 数据库异常。 处理步骤 检查主备管理节点的数据库状态。 以root用户分别登录主备管理节点,用户
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager