检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
能会影响到MRS Manager页面的查看,待controller进程重启后,会恢复正常。 请在MRS Manager页面“主机管理”中查看主Master节点IP。 请在MRS Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输
查询标签配额 功能介绍 查询标签配额信息 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
如何调用API 构造请求 认证鉴权 返回结果
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
如何重置MRS Kafka数据? 删除Kafka topic信息即重置Kafka数据,具体命令请参考: 删除topic:kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
参数解释: 是否查询节点详情。该字段设为true时可能会影响接口性能。 约束限制: 不涉及 取值范围: true:查询节点详情 false:不查询节点详情 默认取值: false query_ecs_detail 否 Boolean 参数解释: 是否查询ECS详情信息,会涉及对ECS接口调用。
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapRed
x及以前版本) 告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时,产生该告警。 当HA检测到浮动IP地址或数据库正常后,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12002 严重
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
户端提交作业时,会将此地址随任务一起提交给ResourceManager。ResourceManager在作业完成后,将此参数作为查看作业历史信息的跳转地址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapRed
如何查看MRS服务的操作日志信息? “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前,MRS界面记录的日志信息分为以下几类: 集群操作 创建集群、删除集群、扩容集群和缩容集群等操作 创建目录、删除目录和删除文件等操作 作业操作:创建作业、停止作业和删除作业等操作 数据
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点
4 根据用户编号查询用户姓名和地址。 请参见使用Get API读取HBase表数据。 5 根据用户姓名进行查询。 请参见使用Filter过滤器读取HBase表数据。 6 为提升查询性能,创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试: 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号,在
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试: 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号,在