检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“服务管理 > HDFS”,在“服务状态”页签的“HDFS概述”模块查看“丢失块数”是否为“0”。 “丢失块数”是为“0”,则操作完成。 “丢失块数”不为“0”,请联系华为云支持人员进行处理。 父主题: 集群管理类
合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。
要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如
快速开发Spark应用 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言的应用开发。 通常适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative Computation):
m]w[num]d[num]h的格式表示。其中num表示数字。 其中字母的意思如下: * y--年(一年是365天)。 * m--月(一个月是30天)。 * w--周(一周是7天)。 * d--天。 * h--小时。 可以单独使用年,月,周,天或小时,也可以将时间组合。比如,1y2d表示1年零2天或者367天。
系,都可以独立工作,并且提供的功能是一样的。 Flume客户端需要单独安装,支持将数据直接导到集群中的HDFS和Kafka等组件上。 本案例中,通过MRS自定义集群中的Flume组件,自动采集指定节点日志目录下新产生的文件并存储到HDFS文件系统中。 方案架构 Flume-NG由
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
源文件的编码格式,如UTF-8、GBK。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,则表示不加后缀。数据源为文件系统,该参数才有效。用户若需增量导入数据建议设置该参数。 例如设置为“.txt”,源文件为“test-loader.csv”,则导出后源文件名为“test-loader
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 vpc 是 String 参数解释: 子网所在VPC名称。通过VPC管理控制台获取名称。 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 在“虚拟私有云”页面的列表中即可获取VPC名称。 约束限制: 不涉及 取值范围:
password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_P
m]w[num]d[num]h的格式表示。其中num表示数字。 其中字母的意思如下: * y--年(一年是365天)。 * m--月(一个月是30天)。 * w--周(一周是7天)。 * d--天。 * h--小时。 可以单独使用年,月,周,天或小时,也可以将时间组合。比如,1y2d表示1年零2天或者367天。
源文件的编码格式,如UTF-8、GBK。导入文本文件时才能配置。 UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,则表示不加后缀。数据源为文件系统,该参数才有效。用户如果需增量导入数据建议设置该参数。 例如设置为“.txt”,源文件为“test-loader.csv”,则导出后源文件名为“test-loader
合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费MRS集群的计费规则。 适用场景 集群用于前期程序研发或功能测试。 资源使用有临时性和突发性。 计费周期 按需计费MRS集群按秒计费,每一个小时整点结算一次费用(以UTC+8时
合(注意如果主机名中出现大写字母要改成小写)。 在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。
password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_P
有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver(或者JDBCServer)的情况。 HDFSLOCK:基于HDFS文件系统上的文件来创建的锁。该锁适用于集群上有多个运行的Spark应用
默认生效子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接