检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录 多线程 设置存储策略 Colocation
、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录 多线程 设置存储策略 Colocation
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程，将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
ClickHouse应用程序开发思路 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道的加密算法。只有在“dfs.encrypt.data.transfer”配置项设置为“true”，此参数才会生效。 说明： 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。
目前CBO主要的优化点是Join算法选择。举个简单例子，当两个表做Join操作，如果其中一张原本很大的表经过Filter操作之后结果集小于BroadCast的阈值，在没有CBO情况下是无法感知大表过滤后变小的情况，采用的是SortMergeJoin算法，涉及到大量Shuffle操作
如果您是首次使用MRS的用户，建议您学习并了解如下信息： 基础知识了解 通过MRS组件介绍和产品功能章节的内容，了解MRS相关的基础知识，包含MRS各组件的基本原理和增强特性介绍，以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门
irscheduler.xml spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法，使用多租户模式时，该参数需配置为true。 false为使用随机连接，多主实例模式，配置为false。 true
要生成的加密密钥的长度，支持设置为“192”或“256”。 256 spark.network.crypto.keyFactoryAlgorithm 生成加密密钥时使用的算法。 PBKDF2WithHmacSHA1 spark.io.encryption.enabled 启用本地磁盘I/O加密。 安全模式：true
Kudu应用程序开发思路 开发思路 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。 作为存储引擎，通常情况下Kudu会和计算引擎一起协同工作： 首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据；
项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力： 自动感知并向集群管理员展现
以下所有第三方教程均来自于华为云社区，由于云服务产品持续更新与迭代，相关社区教程中的内容可能存在时效性，不一定与产品最新版本能力完全保持一致，相关内容仅供学习和参考。 表2 开发者社区精选最佳实践 分类 相关文档 热门组件介绍 MRS StarRocks，新一代极速全场景数据仓库 Hudi：新一代流式数据湖平台
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive
HBase样例程序开发思路 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下： 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。
Kudu应用程序开发思路 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。 开发思路 作为存储引擎，通常情况下会和计算引擎一起协同工作： 首先在计算引擎上（比如Impala）用SQL语句创建表对象； 然后通过Kudu的驱动往这个表里写数据； 于此同
项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高
varbinary 计算二进制块的SHA 1哈希值。 sha2(string, integer) → string 安全散列算法2， 是一种密码散列函数算法标准，其输出长度可以取224位，256位， 384位、512位，分别对应SHA-224、SHA-256、SHA-384、SHA512
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
