检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
row (state=,code=0) 原因分析 客户查询大量数据,数据量过大。 客户在检索数据时使用select * from table_name;,进行全表查询,表内数据过多。 beeline默认启动内存128M,查询时返回结果集过大,导致beeline无法承载导致。 解决办法
ClickHouse不支持数据写入的事务保证。通过外部导入数据模块控制数据的幂等性,比如某个批次的数据导入异常,则drop对应的分区数据或清理掉导入的数据后,重新导入该分区或批次数据。 大批量少频次的写入。 ClickHouse的每次数据插入,都会生成一到多个part文件,如果data
rbonData Table,用于加载数据和执行查询操作。 加载数据到CarbonData表 用户从HDFS中的CSV文件加载数据到所创建的表中。 在CarbonData中查询数据 在CarbonData表加载数据之后,用户可以执行所需的查询操作,例如groupby或者where等。
使用Hive加载OBS数据并分析企业雇员信息 应用场景 MRS Hadoop分析集群,提供Hive、Spark离线大规模分布式数据存储和计算,进行海量数据分析与查询。 本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用Hive对OBS中存储的原始数据进行导入、分析等操作
re trx_dte_par='2016-6-30'”时没有查询结果,当过滤条件为“where trx_dte_par='2016-06-30'”时有查询结果。 图1 示例 回答 在Spark SQL查询语句中,当查询条件中含有日期格式的字符串时,Spark SQL不会对它做日期
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检查结果会
内容要求:ClickHouse的每次数据插入都会生成一到多个part文件,如果data part过多则会导致merge压力变大,甚至出现服务异常影响数据插入。建议一次插入10万行,每秒不超过1次插入。 一次只插入一个分区内的数据。 内容要求:如果数据属于不同的分区,则每次插入,不同分区的数据会独立生成p
本实践以某图书网站后台用户的点评数据为原始数据,导入Hive表后通过SQL命令筛选出最受欢迎的图书。 基本操作流程如下所示: 步骤1:创建MRS离线查询集群 步骤2:将本地数据导入到HDFS中 步骤3:创建Hive表 步骤4:将原始数据导入Hive并进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。
KerberosConfigPath 访问数据源用户的krb5配置文件,参考配置HetuEngine应用安全认证获取。 KerberosKeytabPath 访问数据源用户的keytab配置文件,参考配置HetuEngine应用安全认证获取。 jdbc_location 导入并配置HetuEngine
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSFabric方式连接到HetuServer,组装对应的SQL发送到HetuServer执行,完成对Hive数据源的增删改查操作。 public class JDBCExampleFabric
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
实时OLAP数据分析 实时OLAP场景介绍 离线数据加载:通过CDM将Hive外表数据迁移到Doris 离线数据加载:通过Doris Catalog读取Hive外表数据并写入Doris 离线数据加载:通过Doris Catalog读取RDS-MySQL数据并写入Doris 离线数据加载
Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HiveQL语言操作结构化数据,其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HiveQL语言非常容易的完成数据提取、转换和加载(ETL)。
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io
使用Loader从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse,本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建
读取Hudi数据概述 Hudi的读操作,作用于Hudi的三种视图之上,可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y