检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作
ALM-16007 Hive GC 时间超出阈值 告警解释 系统每60秒周期性检测Hive服务的GC时间,当检测到Hive服务的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。当Hive
SHOW TABLE/PARTITION EXTENDED 语法 SHOW TABLE EXTENDED [IN | FROM schema_name] LIKE 'identifier_with_wildcards' [PARTITION (partition_spec)] 描述
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1 和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
Flink REST API接口介绍 Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问W
Flink REST API接口介绍 Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问W
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
Flink REST API接口介绍 Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问W
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问,但是存在以下限制: 仅允许访问一个Hive