检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看MRS服务的操作日志信息? “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前,MRS界面记录的日志信息分为以下几类: 集群操作 创建集群、删除集群、扩容集群和缩容集群等操作 创建目录、删除目录和删除文件等操作 作业操作:创建作业、停止作业和删除作业等操作 数据
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤 进入服务页面:
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据: select * from s3(path [,access_key_id, secret_access_key] [,format] [
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。 2017-05-09
实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienorm
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。
查询Hive数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Hive用户自定义函数。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。 2017-05-09
-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。
] }] 结果分析: 通过这个命令,可以查询当前集群中所有的Spark应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息
-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。
] }] 结果分析: 通过这个命令,可以查询当前集群中所有的Spark应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息
] }] 结果分析: 通过这个命令,可以查询当前集群中所有的Spark应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试,包含了开始时间、结束时间、执行用户、是否完成等信息
-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。 /logout 注销的重要信息。 /overview Flink集群状态的简单概要。
Manager管理页面找到Presto组件,记录Presto的内网浮动IP地址。 在VPC上创建一个弹性公网IP地址,并在VPC控制台上找到MRS集群的子网,然后找到Presto的浮动IP,并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问,然后测试(以非安全集群为例,catalog为hive)。
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户
在数据库列表中单击用户B创建的表所在的数据库名称,显示用户B创建的表。 在用户B创建的表的“权限”列,勾选“查询”。 单击“确定”,返回“角色” 单击“用户”,在用户A所在行,单击“修改”,为用户A绑定新创建的角色,单击“确定”,等待5分钟左右即可访问到用户B创建的表。 添加Hive的Ranger访问权限策略: