-
获取账号ID - MapReduce服务 MRS
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录
-
使用Spark客户端创建CarbonData表 - MapReduce服务 MRS
要创建一个CarbonData table用于加载数据和执行查询操作。下面是创建一个简单的表的命令。 create table x1 (imei string, deviceInformationId int, mac string, productdate timestamp,
-
使用Spark客户端创建CarbonData表 - MapReduce服务 MRS
要创建一个CarbonData table用于加载数据和执行查询操作。下面是创建一个简单的表的命令。 create table x1 (imei string, deviceInformationId int, mac string, productdate timestamp,
-
从零开始使用CarbonData - MapReduce服务 MRS
执行命令创建CarbonData表。 CarbonData表可用于加载数据和执行查询操作,例如执行以下命令创建CarbonData表: CREATE TABLE x1 (imei string, deviceInformationId int, mac string, productdate timestamp,
-
获取MRS集群信息 - MapReduce服务 MRS
情页面。 选择“概览”页签,在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID 在调用作业相关接口的时候,部分URL中需要填入作业ID(job_execution_id),所以需要先在管理控制台上获取到作业ID。作业ID获取步骤如下: 登录MRS管理控制台。 选择“现
-
认证鉴权 - MapReduce服务 MRS
时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。
-
HDFS常用配置参数 - MapReduce服务 MRS
默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCred
-
从零开始使用Spark SQL - MapReduce服务 MRS
src_data表中的数据,最后可将src_data表删除。 前提条件 将OBS数据源中的数据写入Spark SQL表中时,需要先获取AK/SK。获取方法如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
-
HBase version文件损坏导致启动失败 - MapReduce服务 MRS
version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。 父主题: 使用HBase
-
查询作业exe对象详情(废弃) - MapReduce服务 MRS
es/{job_exe_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 job_exe_id 是 String 作业ID。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数
-
获取项目ID - MapReduce服务 MRS
获取项目ID 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开
-
获取SQL结果 - MapReduce服务 MRS
job_execution_id 是 String 作业ID。获取方法,请参见获取作业ID。 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。获取方法,请参见获取集群ID。 请求参数 无 响应参数 状态码: 202
-
如何获取Spark Jar包? - MapReduce服务 MRS
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
-
如何获取Topic的分布信息 - MapReduce服务 MRS
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
-
如何获取Kafka Consumer Offset信息 - MapReduce服务 MRS
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时,如何获取Kafka Consumer Offset相关信息? Kafka API简单说明 新Producer API 指org.apache.kafka.clients
-
Hadoop压力测试工具如何获取? - MapReduce服务 MRS
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench 父主题: 产品咨询类
-
获取MRS应用开发样例工程 - MapReduce服务 MRS
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
-
运行Kafka客户端获取Topic时报错 - MapReduce服务 MRS
运行Kafka客户端获取Topic时报错 问题现象 运行Kafka客户端获取Topic时报错,报错内容如下: ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor:
-
如何获取ZooKeeper的IP地址和端口? - MapReduce服务 MRS
如何获取ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 > ZooKeeper
-
获取MRS应用开发样例工程 - MapReduce服务 MRS
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。