检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式,所以需要Hive开启MetaStore功能。Hive可以作为sink和维表。 本示例以安全模式Kafka为例。
创建Kafka Topic 操作场景 用户可以根据业务需要,使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面:
查询标签配额 功能介绍 查询标签配额信息 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
使用curl命令操作OpenTSDB 写入数据 例如,录入一个指标名称为testdata,时间戳为1524900185,值为true,标签为key,value的指标数据。 curl -ki -X POST -d '{"metric":"testdata", "timestamp":1524900185
过调大内存占比解决。 建议 通过增加并发数提升Compaction性能。 CPU和内存比例配置合理会保证Compaction作业是稳定的,实现单个Compaction task的稳定运行。但是Compaction整体的运行时长取决于本次Compaction处理文件数以及分配的cp
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
查询默认标签状态 功能介绍 查询集群默认标签状态 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
配置并导入Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
新建CarbonData表 操作场景 使用CarbonData前需先创建表,才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例: CREATE TABLE IF
取消SQL执行任务 功能介绍 在MRS集群中取消一条SQL的执行任务。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel 表1
apache.spark.sql.hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。 SORT spark
apache.spark.sql.hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。
查看弹性伸缩策略 功能介绍 查看指定集群的所有的弹性伸缩策略信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
新建CarbonData Table 操作场景 使用CarbonData前需先创建表,才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例: CREATE TABLE
批量删除作业 功能介绍 在MRS集群中批量删除作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/batch-delete 表1 路径参数 参数 是否必选
修改集群名称 功能介绍 修改集群名称 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
获取SQL结果 功能介绍 在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/j
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 弹性伸缩规则: 用户对于一个集