检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink REST API接口介绍 Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问W
审计日志在OBS的存储路径细分为service_auditlog和manager_auditlog,分别用于存储服务审计日志和管理审计日志。 父主题: 查看MRS集群日志
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
ht Manager主机管理界面查看。 告警附加信息中显示“HA root Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行3。 告警附加信息中显示“HA server Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行4。
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。 在MRS集群详情的
用户登录 元数据管理 查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录
> 监控指标转储配置”,查看“FTP用户名”、“保存路径”和“转储模式”配置项。 是FTP模式,执行6。 是SFTP模式,执行7。 登录服务器,在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是,执行9。 否,执行8。 登录服务器,查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。
不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目,也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 单击“确定”,完成日志流的创建。 在日志流页面中,可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。
持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://
供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。 使用新
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。
执行以下命令,查看10查找出的同步文件信息及权限。 ll 待查找文件路径 如果文件大小为0,且权限栏全为“-”,则为垃圾文件,请执行以下命令删除。 rm -rf 待删除文件 等待几分钟观察告警是否清除,如果未清除则执行12。 如果文件大小不为0,则执行12。 查看发生告警时间段的日志文件。
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox
是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 检查节点名配置是否正确。 进入主OMS节点软件安装目录。 cd /opt 查找主备节点的配置文件目录。 find -name