检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。
使用Loader从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建
Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程（TSD）和一组命令
HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加，不能随机添加。 只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将“hdfs-site
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
Linux中安装客户端时提交Storm拓扑 操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
配置Windows通过EIP访问普通模式集群Hive 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并
ALM-12014 设备分区丢失（2.x及以前版本） 告警解释 系统周期性进行扫描，如果检测到挂载服务目录的设备分区丢失（如由于设备拔出、设备离线、删除分区等原因）时，产生此告警。 告警属性 告警ID 告警级别 可自动清除 12014 严重 是：MRS 1.9.3.10及之后补丁版本
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其
使用Spark2x实现车联网车主驾驶行为分析 应用场景 本实践基于华为云MapReduce服务所编写，用于指导您了解MRS的基本功能，利用MRS服务的Spark2x组件，对车主的驾驶行为进行分析统计，得到用户驾驶行为的分析结果。 原始数据为车主的驾驶行为信息，包括车主在日常的驾驶
Loader作业目的连接配置说明 基本介绍 Loader作业需要将数据保存到不同目的存储位置时，应该选择对应类型的目的连接，每种连接在该场景中需要配置连接的属性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。
最新动态 本文介绍了MapReduce服务MRS各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2021年07月 序号 功能名称 功能描述 阶段 相关文档 1 MRS支持Hudi组件 Hudi是数据湖的文件组织层，对Parquet格式
管理Loader连接（MRS 3.x及之后版本） 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面： MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面： 登录FusionInsight Manager，具体请参见访问集群Manager，选择“集群 > 服务”。 选择“Loader”，在“Loader WebUI”右侧，单击链接，打开Loader的WebUI。
ALM-25005 Nscd服务异常 告警解释 系统每60秒周期性检测nscd服务的状态，如果连续4次（3分钟）查询不到nscd进程或者无法获取LdapServer中的用户时，产生该告警。 当进程恢复且可以获取LdapServer中的用户时，告警恢复。 告警属性 告警ID 告警级别
配置Windows通过EIP访问安全模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Win
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
