检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的Worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。 实例在扩缩容中时，原有业务不受影响，实例仍可以正常使用。 实例动态扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，
在一定程度上不够灵活（比如报错不符合预期、结果与预期不一致等）。 Spark2x实现了命令的本地化，使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦，另一方面可以对命令进行定制化。 DataSet DataSet是
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS
获取样例工程并导入本地开发环境中进行程序学习。 导入并配置HBase样例工程 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发HBase应用 编译并运行程序 开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编
开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 调测HetuEngine应用 父主题： HetuEngine开发指南（普通模式）
ta Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要的角色：CDLConnector和CDLService。CDLConnector是具体执行数据抓
Redact：用x屏蔽所有字母字符，用0屏蔽所有数字字符。 Partial mask: show last 4：只显示最后的4个字符。 Partial mask: show first 4：只显示开始的4个字符。 Hash：对数据进行Hash处理。 Nullify：用NULL值替换原值。
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息
对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Hive客户端实现A业务操作流程如下： 普通表的操作： 创建用户信息表user_info。
digest是一个分位数的集合，当需要查询的数据落在某个分位数附近时，就可以用这个分位数作为要查询数据的近似值。它的精度可以调节，但更高精度的结果会带来空间的昂贵开销。 STRUCT 底层用ROW实现，参照ROW。 示例： -- 创建struct 表 create table struct_tab
可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置Hive样例工程 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发Hive应用 编译并运行程序 开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译
RS集群，需要进行安全认证。 配置Hive JDBC接口访问Hive安全认证 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发Hive应用 编译并运行程序 指导用户将开发好的程序编译提交运行并查看结果。 调测Hive应用 父主题： Hive应用开发概述
开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 父主题： HetuEngine开发指南（安全模式）
页面，在搜索框中输入参数名称。 表1 Fair调用队列参数 参数 描述 默认值 ipc.<port>.callqueue.impl 队列的实现类。用户需要通过“org.apache.hadoop.ipc.FairCallQueue”启用QoS特性。 java.util.concurrent
如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置HBase应用安全认证 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发HBase应用 编译并运行程序 将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序
导入导出Hive表/分区数据 操作场景 在大数据应用场景中，往往存在将Hive中的数据表迁移到另一个集群上，使用Hive的导入导出命令可以实现表级别数据迁移，即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中，再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java
a主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。 创建MRS集群：创建一个MRS
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
该能力可以极大降低用户使用物化视图功能的使用难度，带来业务无感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间，可实现对高频SQL业务的智能加速。同时，该能力可以降低数据平台的整体负载（CPU、内存、IO等），有助于提升系统稳定性。 智能物化视图包括以下几个功能：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
