检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS-BASIC服务费用 云主机 云硬盘 计费模式 按需 资源名称/ID MRS服务管理费:MRS集群节点名称和ID,例如:3333-node-master1DqDR.com,777d75bd-d60e-4546-a2b4-712406ffd744 弹性云服务器费用:弹性云服务器名称和ID,例如:
的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。
1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制:
ler/applications/{application_id}”。 由于Superior Scheduler只存储正在运行的applicationID,所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器
cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_format,若没有配置请执行如下命令添加配置项并重启MySQL,若已经配置则忽略此步骤。 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row
输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令
ler/applications/{application_id}”。 由于Superior Scheduler只存储正在运行的applicationID,所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
cnf文件,在[mysqld] 区块检查是否配置server_id,log-bin与binlog_format,如果没有配置请执行如下命令添加配置项并重启MySQL,如果已经配置则忽略此步骤。 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row
区中。 在弹出的“Loader”窗口中配置“Job id”的值,例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值,可从Loader页面获取。 创建需要调度的Loader作业,并获取该作业ID,具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。
区中。 在弹出的“Loader”窗口中配置“Job id”的值,例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值,可从Loader页面获取。 创建需要调度的Loader作业,并获取该作业ID,具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。
ve堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。 当Hive堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳,需要根据实际业务和集群的服务器配置情况调整集群节点资源配置,以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
放在pg数据库中。 Tomcat Tomcat服务器是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件,包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎服务器,用于运行MapReduce任务工作流。同时Oozie还是一个Java
使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter.record.enabled”和“filter.row-kinds”参数。 “filter.record
默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。