检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维
查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维
在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties userName
查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维
Spark节点中。生成Jar包的操作步骤请参见在Linux环境中调测Spark应用章节。 SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“
已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 在主管理节点使用客户端。 安装客户端,具体请参考安装客户端章节。 以客户端安装用户登录客户端安装节点,执行以下命令切换到客户端目录。
警是否恢复。 是,处理完毕。 否,执行4。 检查与NTP服务器认证是否失败。 以root用户登录主OMS节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令查看主备节点的资源状态。
统当前时间计算任务已执行的时间。查看已执行的时间是否大于超时时间。 是,执行4。 否,执行10。 请根据业务合理评估任务的预期执行时间,并与任务的超时时间对比。若超时时间设置过小,请设置客户端的超时时间(“mapreduce.application.timeout.alarm”或“spark
“ImportTsv”通过“org.apache.hadoop.hbase.mapreduce.ImportTsv”可将TSV格式的数据加载到HBase中。 更多详细信息请参见:http://hbase.apache.org/2.2/book.html#tools。 父主题: 使用HBase
据结构:此时Hive表已经创建好,仅需迁移Hive存储在HDFS或OBS上的文件即可,请参考使用CDM服务迁移Hadoop数据至MRS集群页面新增数据迁移方式进行数据迁移。 Hive表有新增:请选择“作业管理”的“表/文件迁移”页签,在Hive迁移作业的“操作”列单击“编辑”,选择新增的数据表进行数据迁移。
需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力 HDFS开发接口简介 HDFS支持使用Java语言进行程序开发,具体的API接口内容请参考HDFS Java API接口介绍。 父主题: HDFS应用开发概述
WebUI登录页面,输入具有Doris管理权限的用户名和密码(集群已启用Kerberos认证(安全模式)需已修改初始密码),创建用户相关操作请参见创建Doris权限角色,单击“Login”: 在Doris WebUI首页中查看Doris集群相关信息,也可以在“Playground”
WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限,具体操作请参见创建MRS集群用户。例如创建一个“人机”用户“hueuser”,并加入“hive”、“hadoop”、“supergroup”组和“ma
的队列隔离,并配置mem_limit和exec_time_limit_s避免大查询 使用资源队列可避免不同业务相互抢占资源,相互影响,具体请参考Impala启用并配置动态资源池。 OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存,提升读取速率,配置单盘100G
启动一个定时任务来清理超过一定时间的shuffle文件,例如每个整点清理超过6个小时的文件: 创建脚本“clean_appcache.sh”,若存在多个数据盘,请根据实际情况修改BASE_LOC中data1的值。 安全集群 #!/bin/bash BASE_LOC=/srv/BigData/hadoo
ver主要用于提交作业,默认2个实例即可,建议迁移到Master节点。 本操作指导只针对集群类型是自定义类型的集群,若集群类型为分析集群,请联系运维人员处理。 操作步骤 在Master节点上添加2个JobServer实例,默认建议为Master2和Master3节点。 登录MRS管理控制台,单击对应的MRS集群。
单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。
否,执行13。 选择“备份路径 > 查看”,获取备份路径。 以root用户登录节点,执行以下命令查看节点挂载详情,用户密码为安装前用户自定义,请咨询系统管理员: df -h 在挂载详情中查看备份路径挂载点的剩余空间是否小于20GB。 是,执行9。 否,执行13。 查看备份目录下是否有
查看命令执行结果中是否包含D、Z、T中的任意一种。 是,执行5。 否,执行7。 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维
Administrator”策略,用户使用的自定义委托则需要用户自己绑定。 前提条件 如需使用OBS加密功能,请先配置MRS访问OBS功能,具体请参考配置MRS集群通过IAM委托对接OBS。 Hive配置 登录MRS控制台,在左侧导航栏选择“现有集群” ,单击集群名称。 选择“组件管理