行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
如果集群版本类型为“普通版”: 2022年6月及其之前购买的集群:按“MapReduce服务虚拟机”进行筛选。 2022年6月之后购买的集群:按“MRS-BASIC服务费用”进行筛选。 IaaS基础设施资源费用(弹性云服务器,云硬盘,弹性IP/带宽等) MRS服务管理费用详情,请参见产品价格详情。 您
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输
MRS服务支持用户在不需要大数据集群时执行删除集群操作,集群删除后,所有大数据使用的相关云资源都会同时被释放。删除集群前,建议完成数据搬迁或者备份,确认集群无任何业务运行或者集群异常且经运维分析无法继续提供服务时再执行集群删除操作。对于数据存放在云硬盘EVS或直通盘的大数据集群,集群删除后,数据也随之删除,强烈建议您慎重选择删除集群。
区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失进行处理,处理完成后,本告警即可自动消除。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息
集群组件补丁”,查看可支持安装的补丁信息。 安装补丁前准备 请参见执行MRS集群健康检查检查集群状态,集群节点故障、硬盘故障等异常可能导致补丁安装卸载失败。请确认集群健康状态正常后再安装、卸载补丁。 选择“补丁管理 > 集群组件补丁”中目标补丁的“补丁内容”信息,仔细阅读补丁说明,提前确
再无法切换到备节点,就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的DBService备服务器地址。
从Capacity调度器切换到Superior调度器 对系统的影响 调度器切换过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 调度器切换过程中,正在Yarn上面执行的Job的Task任务会继续执行,但不会启动新的Task。 调度器切换完成后,在Yar
生成新字段,值为取模后的值。 字段的值须为整数,否则当前行会成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“取模转换”算子,生成两个新字段C和D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
如果当前磁盘出现三次以上该告警,建议用户更换磁盘。 是,执行17。 否,操作结束。 更换磁盘。 在MRS Manager界面,单击“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“主机名”字段和“磁盘名”字段的值,获取该告警上报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是,操作结束。
如果您持有多个到期日不同的MRS集群,或者您的MRS集群和其上挂载的云硬盘到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图2展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图2 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
单击目标节点组,在展开的节点名称列中单击任一节点,跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明:镜像中显示的EulerOS_2.1
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
获取“默认生效子网”和待切换子网对应的IPv4网段。 此时请勿单击切换子网的“确定”按钮,否则默认生效子网将更新为切换后的子网,切换前的子网不易查询,请谨慎操作。 参考5~8添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 登录MRS控制台。
Kerberos服务在收到ST请求后,校验其中的TGT合法后,生成对应的应用服务的ST,再使用应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后,将ST打包到发给应用服务的消息里面传输给对应的应用服务端(Application Server)。 应用服务端收到请求后,使用本端应用服
已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。 在云日志服
您即将访问非华为云网站,请注意账号财产安全