检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。 父主题: 集群管理类
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 已获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 已获取Yarn ResourceManager主节点IP,如“10
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/user
ive等组成。 角色 角色是服务的组成要素,每个服务由一个或多个角色组成。服务通过角色安装到主机(即服务器)上,保证服务正常运行。 集群 将多个服务器集中起来使它们能够像一台服务器一样提供服务的计算机技术。采用集群通常是为了提高系统的稳定性、可靠性、数据处理能力或服务能力。例如,
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。 登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。 登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击
//设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
kafka --kerberos.domain.name hadoop.系统域名.com 10.96.101.32:21007:kafka服务器的IP和端口。 系统域名:用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理? 问题现象 主Master节点内存使用率高,且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存:除了常见的执行计划缓存、数据缓存,PostgreSQL为了提高生
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
CREATE TABLE创建表 本章节主要介绍ClickHouse创建表的SQL基本语法和使用说明。 基本语法 方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。
ClickHouse表创建 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制,用户在创建表时可以通过指定引擎选择该表是否高可用,每张表的分片与副本都是互相独立的。 同时ClickHouse依靠Distributed引擎实现了分
户端连接服务器的端口和备集群的HBase在ZooKeeper上的根目录。 备集群ZooKeeper实例业务IP地址可在FusionInsight Manager界面,选择“集群 > 服务 > ZooKeeper > 实例”查看。 备集群ZooKeeper客户端连接服务器的端口和备
ClickHouse输出 概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
0。Streaming组件一般用来在升级场景继承过渡业务,比如之前版本已经部署Streaming并且有业务在运行的情况下,升级后仍然可以使用Streaming。如果是新搭建的集群,则建议使用Storm。 Storm 1.2.1新增特性说明: 分布式缓存:提供命令行工具共享和更新拓扑的所需要的外部资源(配置),无需重新打包和部署拓扑。
调用API接口创建集群失败 用户问题 按照参考文档创建集群并执行作业,调用创建集群接口:POST /v1.1/{project_id}/run-job-flow返回500。 问题现象 调用创建集群接口:POST /v1.1/{project_id}/run-job-flow返回500。
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
创建FlinkServer作业写入数据至Hudi表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本指南通过使用FlinkServer写FlinkSQL对接Hudi。FlinkSQL读写Hudi时,不支持定义TINYINT、SMALLINT和TIME类型。 Flink对