检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Flink应用开发用户 开发用户用于运行样例工程。在安全集群中,用户需要有HDFS、YARN、Kafka和Flink权限,才能运行Flink样例工程。 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查看Ranger用户权限同步信息 查看Ranger相关权限设置信息,例如查看用户、用户组、Role。 查看Ranger权限信息 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 选择“Settings > Users
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0
给指定集群添加标签 功能介绍 为特定的集群添加一个tag。 一个集群上最多有20个标签,此接口为幂等接口。添加标签时,如果创建的标签已经存在(key相同),则覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters
查询作业列表信息 功能介绍 在MRS指定集群中查询作业管理里提交的作业列表信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions 表1 路径参数 参数 是否必选
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
ALM-14038 Router堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS Router堆内存使用大小和能够分配的最大堆内存大小,计算堆内存使用大小和能够分配的最大堆内存大小的比值得到堆内存使用率,并把实际的HDFS Router堆内存使用率和阈值相比较。HDFS
ALM-38006 Kafka未完全同步的Partition百分比超过阈值 告警解释 系统每60秒周期性检测Kafka服务未完全同步的Partition数占Partition总数的百分比,当连续3次检测到该比率超出阈值(默认50%)时产生该告警。 平滑次数为1,未完全同步的Partition
图1 reload projects 导出jar包 选择“Maven > clickhouse-examples > Lifecycle > clean”,双击“clean”运行maven的clean命令。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos
图1 执行Hive SQL CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.
例如当前用户访问集群的地址为10.x.x.x,则添加的安全组规则为: 图1 配置安全组 关于安全组的具体配置可参考:配置安全组规则。 安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址,如果当前网络为内部局域网环境,请务必确认安全组中配置的IP地址是否为公网出口IP。
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages
Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server
Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server