检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装集群客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载k
ght Manager界面选择“集群 > 待操作集群的名称 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system” 观察HDFS上“/flume/test”目录下是否有产生数据。
JobManager Web Interface: http://192.168.64.10:32261 Flink集群启动成功后,重新打开一个客户端连接窗口,进入Flink客户端目录运行程序。 source /opt/hadoopclient/bigdata_env cd /
登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息: Region
登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息: Region
证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到
登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息: Region
如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
在Ranger中配置HBase的访问权限 在创建完安装了Ranger组件的MRS集群后,HBase的权限控制暂未集成在Ranger,本章节主要介绍HBase组件如何集成在Ranger中。 登录Ranger WebUI界面。 在“Service Manager”中的HBASE处,单击添加HBase Service。
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
Kafka为例,介绍JDBC的MySQL作为Source表、Sink表以及维表的DDL定义,以及创建表时使用的WITH参数和代码示例,指导如何在FlinkServer作业管理页面对接JDBC。 FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将
由于网络问题或者数据量大导致leader和follower数据不同步。 解决方法是客户端连接到Leader实例进行删除操作。 具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader
图4 句柄数 排查业务代码,不停地创建新的Producer对象,未正常关闭。 解决办法 停止当前应用,保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码,解决句柄泄露问题。 建议:全局尽量使用一个Producer对象,在使用完成之后主动调用close接口进行句柄关闭。 父主题:
ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务,如果提交任务,任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态,如果提交任务,任务直接会被拒绝。 在UI显示container日志 默认情况下,系统会将co
hdfs://hacluster/huawei/testHdfs Content-Length: 0 Connection: close 打开“/huawei/testHdfs”文件,并读取文件中上传写入的内容。 执行如下命令访问HTTP。 linux1:/opt/client #
由于网络问题或者数据量大导致leader和follower数据不同步。 解决方法是客户端连接到Leader实例进行删除操作。 具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。 安装失败后,您可以登录Manager页面