检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark2x（MRS 3.x及之后版本） Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。 HDFS路径可以配置在carbon.properties文件中。 具体请参考CarbonData常见配置参数。
本章节主要介绍Doris创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] db_name [PROPERTIES ("key"="value", ...)]; 使用示例 使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。
Joins中的inner join语句。 不支持与作业级TTL、表级TTL、小表广播特性同时使用。 使用JTL特性的表需要指定主键，否则可能导致结果不准确。 方式一：可通过SQL Hint使用 eliminate-state.left.threshold：表示左边关联次数的阈值，超过阈值后，该条数据就会过期。
Doris冷热分离 Doris冷热分离介绍 配置Doris冷热分离 父主题： Doris企业级能力增强
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息 假定用户开发一
Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业，不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。 执行cleaning有两种方式：
成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 异步Compaction会进行如下两个步骤： 调度Compaction：由入湖作业完成，在这一步，Hudi扫描分区并选出待进行compaction的File
实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource API为例）：和读普通的dataSource表类似。 必须指定查
SYNC; 在删除复制表时，因为复制表需要在Zookeeper上建立一个路径，存放相关数据。ClickHouse默认的库引擎是原子数据库引擎，删除Atomic数据库中的表后，它不会立即删除，而是会在480秒后删除。在删除表时，加上SYNC字段，即可解决该问题，例如：drop table
MetaStore启动的用于处理连接的线程数，如果超过设置的值之后，MetaStore就会一直维护不低于设定值的线程数，即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs HiveServer2在与其他服务（如YARN、H
By也同样存在数据倾斜的问题，设置hive.groupby.skewindata为true，生成的查询计划会有两个MapReduce Job，第一个Job的Map输出结果会随机的分布到Reduce中，每个Reduce做聚合操作，并输出结果，这样的处理会使相同的Group By Ke
IoTDB支持的数据类型和编码 IoTDB支持如下几种数据类型和编码方式，参见表1。 表1 IoTDB支持的数据类型和编码 类型 说明 支持的编码 BOOLEAN 布尔值 PLAIN、RLE INT32 整型 PLAIN、RLE、TS_2DIFF、GORILLA、FREQ、ZIGZAG
安全模式（开启Kerberos认证的集群）： 在创建新连接页面的“常规”页签，输入2中创建的用户名和密码，单击“测试链接”，连接成功后，单击“确定”，再单击“完成”。可单击“连接详情（名称、类型...）”修改连接名称。 图3 安全模式“常规”参数设置 普通模式（未开启Kerberos认证的集群）： 在
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
ser”，样例代码如下： // 设置新建用户的USER_NAME，其中"xxx"为已创建的用于认证的用户名，例如创建的用户为developuser，则USER_NAME为developuser USER_NAME = "xxx"; if ("KERBEROS".equalsIgnoreCase(auth))
下，并修改样例代码中conf目录下的presto.preperties。未开启Kerberos认证集群无须执行此步骤。 表1 presto.preperties参数说明 参数 说明 user 用于Kerberos认证的用户名，即准备Presto应用开发用户中创建的开发用户的用户名。
Consumer消费数据失败，提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： org.apache.kafka.common.protocol.types.SchemaException:
访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI，在图形化界面使用Storm。 Storm的WebUI支持查看以下信息： Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a
JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。 在本地Windows环境中调测HBase应用 单击IDEA右边Maven窗口的“Reimport All Maven Projects
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
