检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
60000 hfile.block.cache.size 数据缓存所占的RegionServer GC -Xmx百分比，在读高负载情况下可以适当调大以增大缓存命中率以提高性能。表示分配给HFile/StoreFile所使用的块缓存的最大heap（-Xmx setting）的百分比。 当offheap关闭时，默认值为“0
为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理 为什么存储小文件过程中，缓存中的数据会丢失 当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 为什么NameNode UI上显示有一些块缺失
Presto应用开发简介 Presto简介 Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI
件，HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 而MapReduce是
元数据导出 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致，需要将源集群的元数据信息导出，以便在完成数据迁移后进行必要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文
配置HDFS Mover命令迁移数据 配置场景 Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，
CREATE TABLE 语法 ① CREATE TABLE [ IF NOT EXISTS ] [catalog_name.][db_name.]table_name ( { column_name data_type [ NOT NULL ] [ COMMENT col_comment]
配置HDFS Mover命令迁移数据 配置场景 Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，
Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop、Hive、Sp
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中，方便用户直接通过执行SQL语句对审计日志进行查看和分析，无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
EXPLAIN ANALYZE 语法 EXPLAIN ANALYZE [VERBOSE] statement 描述 执行一条SQL语句，并显示分布式执行计划，以及过程中每个操作的代价。 VERBOSE可选参数，带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保证完全
indexspecs.to.add：表示索引名与对应表的列的映射关系。 scan.caching（可选）：包含一个整数值，表示在扫描数据表时将传递给扫描器的缓存行数。 上述命令中的参数描述如下： idx_1：表示索引名称。 cf_0：表示列族名称。 q_0：表示列名称。 string：表示数据类型
嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码，如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中，对Storm拓扑中的Spout和Bolt进行嵌入式转换，将之转换为Flink的Operator，代码示例如下：
dataDirs ${BIGDATA_DATA_HOME}/flume/data 数据缓存路径，设置多个路径可提升性能，中间用逗号分开。 maxFileSize 2146435071 单个缓存文件的最大值，单位：字节。 minimumRequiredSpace 524288000
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上您可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
了节点级别跨进程的缓存服务meta，用于缓存临时AKSK。 使用场景：适用于通过委托适用临时aksk访问OBS的Spark，Hadoop等Yarn作业。配置在客户端core-site.xml中。 默认配置为true，MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
