检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任务到
准备工作 本迁移将指导适用于多种不同场景下的HDFS、HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为参考，具体的数据迁移方案的制定及实施需要华为云支持人员协同完成。 数据迁移前源集群的准备工作，目的是防止在数据迁移过程中源集群产生新数据
样例：通过Loader将数据从OBS导入HDFS 操作场景 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息，然后创建一个OBS
准备本地应用开发环境 Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通
准备MapReduce开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通
准备本地应用开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通
IoTDB Session样例程序 功能简介 通过Session连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。 其中在Session对象的参数里，设置IoTDBServer
执行Kafka Topic删除操作时提示“AdminOperationException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-topics.sh --delete --topic test4 --zookeeper
HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 问题 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。 查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示： 2016-11
新建CarbonData Table 操作场景 使用CarbonData前需先创建表，才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例： CREATE TABLE
配置从NameNode支持读操作 配置场景 在配置了HA的HDFS集群中，存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求，备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点：主NameNode会成为客户端请求处理的瓶颈
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块（HBase FileStream，简称HFS）是HBase的独立模块，它作为对HBase与HDFS接口的封装，应用在MRS的上层应用，为上层应用提供文件的存储、读取、删除等功能。
快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据（MRS 3.x之前版本）进行操作。 MRS 3.1.2及之后版本集群也可以通过登录KafkaUI
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，
快速使用Doris Doris是一个基于MPP架构的高性能、实时的分析型数据库，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。 本文主要通过示例介绍如何快速使用MRS Doris集群进行基本的建表和查询操作。 Doris数据库名和表名区分大小写。 前提条件 已创建包含
MRS Hive对接CSS服务配置说明 应用场景 利用Elasticsearch-Hadoop插件，完成Hive和CSS服务的Elasticsearch直接的数据交互，通过Hive外部表的方式，可以快速将Elasticsearch索引数据映射到Hive表中。 Elasticsearch-Hadoop
使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求
快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：支持迭代计算
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
