检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据，这样，CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。
答： ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。 具体详细请参考https://github.com/L-Angel/compress-demo。 父主题： 产品咨询类
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据，这样，CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。
MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），OBS对接MemArtsCC有如下使用场景： 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升OBS上层应用数据读取效率。
答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数据仓库、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠
根据业务情况推荐优先使用性能高的写入接口 写入接口性能由高到低排序如下： insertTablets（多设备多行同列） > insertTablet（单设备多行同列） > insertRecordsOfOneDevice （单设备多行不同列） > insertRecords(Object
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？
回答 这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。
Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。
全局二级索引相较于本地索引（HIndex），查询性能更好，适合读时延要求高的场景。 HBase全局二级索引，使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时，可以将对数据表的全表查询转换为对索引表的精确范围查询，提升查询速度。
Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。
回答 这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？
例如：CPU、内存、云硬盘、带宽等资源的利用率。 监控闲置的资源，避免浪费。例如：未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。
对系统的影响 Flush任务超时，会阻塞写数据操作，导致写数据操作的性能下降。 可能原因 该节点IoTDB Flush较慢，需要进一步分析日志查看。 处理步骤 收集故障信息。
对系统的影响 Flink作业Task持续背压，作业持续背压会导致性能问题，或者CheckPoint失败，进而导致Flink作业失败，需要用户介入查看Flink作业运行情况和日志来确认原因，是Flink作业级别的告警，对FlinkServer本身没有影响。
最常用的是HDFS，利用HDFS的高吞吐性能读取大规模的数据进行计算，同时在计算完成后，也可以将数据存储到HDFS。 MapReduce和YARN的关系 MapReduce是运行在YARN之上的一个批处理计算框架。
可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
对系统的影响 空间内合并任务超时，会阻塞写数据，导致写操作的性能下降。 可能原因 该节点IoTDB空间内合并任务较慢，需要进一步分析日志查看。 处理步骤 收集故障信息。
为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，有如下应用场景： 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
