检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keyta
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。
图1 DBServer实例状态 原因分析 数据目录下文件或目录的权限不对,GaussDB要求文件权限至少是600,目录权限至少为700。 图2 目录权限列表 图3 文件权限列表 解决办法 按照图2和图3的权限列表,修改相应文件和目录的权限。 重启相应的DBServer实例。 父主题:
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如“10
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
namenode.name.dir”可获取,例如/srv/BigData/namenode/current),得到最新的FSImage文件的序号。一般如下: 查看各JournalNode的数据目录(查看配置项“dfs.journalnode.edits.dir”可获取,例如/srv/BigDa
操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keyta
查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名,查看定位信息中对应的“PathName”字段值,获取异常的文件路径或者名称。 登录告警节点。 执行ll pathName命令,其中pathName为前面获取到的异常文件,获取到该文件或者目录在主机上的当前的用户、权限、用户组等信息。
confblacklist”进行目录保护。 该配置项已对“/opt/”,“/user/hive/warehouse”等目录进行了默认配置。 前提条件 Hive、HDFS组件功能正常。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive
录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用KafkaUI操作时:已创建具有KafkaUI页面访问权限的用户,如需在页面上进行相关操
创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例: 参见“批量导入数据”章节举例,以下是一些差异点。 将数据文件目录建在“/tmp”目录下,执行以下命令: hdfs
输出文件会保存在HIVE_UNION_SUBDIR目录中,而Presto默认不读取子目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto
持通过主机接入的方式对接云日志服务。云日志服务(LTS)用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。具体对
DataNode以Block的形式,保存用户的文件和目录,同时在NameNode中生成一个文件对象,对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存,消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多,NameNode文件对象
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
临时数据保存目录 例如:cp -r /srv/BigData/data1 /tmp/ 登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
namenode.name.dir”可获取,例如/srv/BigData/namenode/current),得到最新的FSImage文件的序号。一般如下: 查看各JournalNode的数据目录(查看配置项“dfs.journalnode.edits.dir”可获取,例如/srv/BigDa
threshold 监控HetuEngine作业的大目录阈值,超过当前阈值就会上报事件。 单位:GB。 100 hive.job.hdfs.monitor.dir 监控Hive作业的大目录监控路径,不允许监控根目录。 如果需要监控的目录包含用户目录等可变目录使用/*/代替。 hdfs://hac