检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
入文件。 选择“FILE”，表示按文件分割源文件，即每个map处理一个或多个完整的源文件，同一个源文件不可分配至不同map，完成数据导入后保持源文件的目录结构。 选择“SIZE”，表示按大小分割源文件，即每个map处理一定大小的输入文件，同一个源文件可分割至多个map，数据保存至
tion操作。 对其它线程执行相同操作，发现均为compactions线程。 解决办法 属于正常现象。 发现消耗CPU较高线程均为HBase的compaction，其中部分线程调用Snappy压缩处理，部分线程调用HDFS读写数据。当前每个Region数据量和数据文件多，且采用S
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。 前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
11等浏览器访问HDFS的原生UI界面，偶尔出现访问失败情况。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 重新刷新页面即可。 父主题： HDFS常见问题
Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic Configs、增加Topic分区个数、删除Topic场景，需保证KafkaUI
= kerberos] [use.keytab = false] [authentication.user = admin] # 密码明文存储存在安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全 [authentication.password= xxx] 以
= kerberos] [use.keytab = false] [authentication.user = admin] # 密码明文存储存在安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全 [authentication.password= xxx] 以
增大这个值。单位：ms/s/m/h/d。 20s 否 akka.throughput Akka批量处理消息的数量，一次操作完后把处理线程归还线程池。较小的数值代表actor消息处理的公平调度，较大的值以牺牲调度公平的代价提高整体性能。 15 否 akka.log.lifecycle
管理MRS集群元数据 MRS集群元数据概述 配置Ranger元数据存储至RDS 配置Hive元数据存储至RDS 配置LakeFormation数据连接 管理MRS集群数据连接 父主题： 管理MRS集群
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。
aas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理： 当应用不涉及HBase时，即无需获取HBase Token。此时，将“spark.yarn.security.credentials.hbase
权限。 手动配置HDFS目录存储策略，配置动态存储策略等操作。 Hive： 编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。
能会重试成功，但有些Task错误，会导致作业失败。 数据备份原理介绍 备份操作是将指定表或分区的数据，直接以Doris存储的文件的形式，上传到远端仓库中进行存储。当用户提交Backup请求后，系统内部会做如下操作： 快照及快照上传 备份都是对快照进行操作，快照阶段会对指定的表或分
海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采用Yarn管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算及进行海量数据分析与查询的能力。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。 创建MRS集群：创建一个MRS 3
用户通过修改配置文件，实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。 本章节适用于MRS 3.x及以后版本。
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
