检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm-HBase开发指引 操作场景 本章节只适用于MRS产品中Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据
Flink Join样例程序(Scala) 本章节适用于MRS 3.3.0及以后版本。 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*
Flink Hudi样例程序(Java) 功能介绍 通过调用Flink API读写Hudi数据。 代码样例 下面列出WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudi和com
服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问的,需要主NameNode的IP和http端口。 单击“实例”,找到“NameNode(hacluster,主)”的主机名(host)和对应的IP。 单击“配置”,在搜索框搜索“namenode.http
服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http访问的,需要主NameNode的IP和http端口。 单击“实例”,找到“NameNode(hacluster,主)”的主机名(host)和对应的IP。 单击“配置”,在搜索框搜索“namenode.http
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
删除指定集群的标签 功能介绍 删除特定集群的标签。 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径:Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”(运行日志),“/var/log/Bigdata/audit/storm/角色名”(审计日志)。 Nimb
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: create
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
查询默认标签状态 功能介绍 查询集群默认标签状态 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: create
查询标签配额 功能介绍 查询标签配额信息 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
spark2x服务 (JobHistory2x、JDBCServer2x和SparkResource2x三个实例对应的参数都需要修改)。 与HTTP服务访问相比,以HTTPS方式访问Spark2x的JobHistory时,由于使用了SSL安全加密,需要确保curl命令所支持的SS
打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick Start页面)
获取已经同步的IAM用户和用户组 功能介绍 获取已经同步的IAM用户和用户组 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick Start页面)