检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
/s。 在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点上存在的数据库,在“数据表”处选择待迁移的数据表,数据表下拉列表中展示的是所选数据库中的MergeTree系列引擎的分区表。“节点信息”中展示的为当前迁入节点、迁出节点上ClickHouse服务数据目录的空间使用情况,单击“下一步”。
--catalog 数据源名称 例如执行以下命令: hetu-cli --mode hsfabric --catalog hive 本集群的Hive数据源名称默认为“hive”。如需对接集群外部的数据源,可参考添加HetuEngine数据源进行操作,在HSConsole界面配置外部数据源。 首
以下Doris权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,默认为2
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。 父主题: 使用CDL
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 导出Doris数据至HDFS示例 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export
连接器 选择“mysql-fastpath-connector”。 须知: 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
JOINS 允许合并多个relation的数据。 HetuEngine支持JOIN类型为:CROSS JOIN、INNER JOIN、OUTER JOIN(LEFT JOIN、RIGHT JOIN、FULL JOIN)、SEMIN JOIN和ANTI JOIN。 CROSS JOIN
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
CREATE DATABASE创建数据库 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] database_name [ON CLUSTER ClickHouse集群名] ON CLUSTER
ile,再将这些PartitionedFile进行合并。即将多个PartitionedFile组成一个partition,从而减少partition数量,避免在Shuffle操作时生成过多的hash分桶,如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化,在Spark客户端的“spark-defaults
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临以下困境:数据源种类繁多,数据集结构化混合,相关数据存放分散等,这就导致了跨源复杂查询因传输效率低,耗时长。 当前开源Spark在跨
driver.OracleDriver SQLServer:com.microsoft.jdbc.sqlserver.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com
extends Reducer> cls) 为Job设置一个Combiner类。 Copy阶段的调优 数据是否压缩: 对Map的中间结果进行压缩,当数据量大时,会显著减少网络传输的数据量,但是也因为多了压缩和解压,带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时,压