检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
memory-mb 表示该节点上YARN可使用的物理内存总量,默认为16384,单位:MB。若该节点有其他业务的常驻进程,请降低此参数值给该进程预留足够运行资源。 16384 为达到最优性能,可配置为集群中节点最小物理内存的90%。 yarn.nodemanager.resource.cpu-vcores
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
2-LTS支持升级到MRS 3.2.0-LTS,MRS 3.2.0-LTS支持升级到MRS 3.3.0-LTS。 集群补丁升级 现网存量运行的MRS集群,如果有大数据组件社区重大问题或者漏洞,MRS将提供对集群打补丁能力,详情请参见MRS集群补丁说明。 版本约束 集群升级到新版本后,不支持回退到老版本。
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围:
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程:
Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程:
DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
URI DELETE /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String 参数解释: 连接ID。获取方法,请参见获取连接ID。 约束限制: 不涉及
调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围:
NameNode(主)”,单击“DataNodes”,查看所有告警DataNode节点的Block数量信息。 告警信息 监控ID为14007、14008、14009的告警是否产生,根据业务需要修改告警阈值。 父主题: HDFS运维管理
t1 以上为迁移用户数据的过程,旧集群的索引数据迁移只需按照前三步操作,并更改相应表名为索引表名(如,t1_idx)。 迁移索引数据时无需执行4。 向新集群表中导入索引数据。 在新集群的用户表中添加与之前版本用户表相同的索引(名称为'd'的列族不应该已经存在于用户表中)。 命令如下所示:
调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围:
指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars /opt/hudi-java-examples-1.0.jar // 指定spark运行时需要的hudi
URI GET /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围:
sters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数 参数 是否必选 参数类型 描述 job_execution_id 是 String 参数解释: 作业ID。获取方法,请参见获取作业ID。 约束限制:
SUSPEND:挂起状态,不能改写,不能刷新 State:物化视图有效期 Stale:物化视图过期 Valid:物化视图未过期,正常状态 SyncStatus:物化视图缓存是否同步 SHOW MATERIALIZED VIEWS FROM tpcds; hetuengine:tpcds_2gb> SHOW MATERIALIZED