检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert overwrite操作。 操作步骤 假设存在如下一张表: user_data(user_group
功能,即在创建Hive表时,通过设置表文件分布的locator信息,可以将相关表的数据文件存放在相同的存储节点上,从而使后续的多表关联的数据计算更加方便和高效。 Hive开源增强特性:支持列加密功能 Hive支持对表的某一列或者多列进行加密。在创建Hive表时,可以指定要加密的列
oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。 临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-connector 表名 目标表,用于存储数据。 列名 指定要写入的列名,
系统默认每3秒采集一次数据,在30秒内至少7个采集周期的svctm时延达到6秒。 系统默认每3秒采集一次数据,在30秒内至少10个采集周期,磁盘队列深度(avgqu-sz)> 0,iops = 0或带宽 = 0,且ioutil > 99%。 系统默认每3秒采集一次数据,在300秒内
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。 解决方法是修
足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变化不大而集群业务处理能力需求变化比较大,临时需要增大业务量时,可选择添加Task节点。 临时业务量增大,如年底报表处理。 需要在短时间内处理大量的任务,如一些紧急分析任务。 父主题: 集群管理
EAD SECTOR(S)”或者“WRITE SECTOR(S)”表示磁盘有坏道;如果出现其他错误,表示磁盘电路板有问题。这两种错误均表示磁盘不正常,需要更换。 如果显示“No Errors Logged”,则表示没有错误日志,则可以触发磁盘smart自检。 是,执行14。 否,执行17。
MRS集群安装Flink组件后,用户可以通过Flink的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink WebUI,需要在浏览器中添加站点信任以继续访问Flink WebUI。
实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库: create database test_broker_load; use test_broker_load; 执行以下命令创建表并导入OBS数据至表中: CREATE TABLE
ZooKeeper连接断开 告警解释 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况,如果检测连接失败,系统产生告警(告警原因为ZooKeeper连接异常)。如果连续3次检测连接失败,系统产生告警(告警原因为ZooKeeper连接断开)。 当系统检测到有一次连接成功,告警自动清除。 告警属性
Name:设置策略名称,例如:test_hive。 database: 永久函数:配置要添加函数的数据库名称,例如:default。 临时函数:将“database”切换为“global”,并配置具体的函数名或设置为*。 table:切换为“udf”,并配置具体的函数名或设置为*。临时函数无需配置该参数。 在“Allow
问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上,有报错。 上传部分文件后,报错失败,从NameNode原生页面看,临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个操作,这
show create table database.table; 执行以下SQL语句,删除只读表,再根据6的表结构信息,重新创建只读表,等待几分钟,再执行3中的SQL,查看结果中是否包含当前只读表。 drop database.table no delay; 是,执行9。 否,执行8。
询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数,详情请参见表3、表4和表5。 表3 设置数据加载使用的CPU core数量 参数 carbon.number.of.cores.while.loading 所属配置文件
在“概述”的“资源配额”是静态的,并不是实时刷新,只在加载时更新。 因为Doris租户代表的是Workload Group,是对组内任务在单个实例节点的计算资源限制,所以“资源配额”和“图表”都是对指标均值的监控,“图表”每30秒刷新一次。 为已有的租户关联Doris服务和用户 在FusionInsight
已创建Doris集群,且集群运行状态正常。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 购买ELB并对接Doris 购买ELB并获取其公网IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录华为云管理控制台,在服务列表中选择“网络 > 弹性负载均衡 ELB”。
Join功能只生效于等值Join的场景。 Bucket Shuffle Join功能只能在左表为单分区时生效。 支持参与Join的两张表,一张是Hudi表,一张是Doris内部表。 Doris支持Hudi的隐式分区功能(受限特性) Doris支持Hudi的隐式分区功能以进行查询加速。该功
执行/sbin/service haveged status |grep "running",查看返回结果。 如果执行成功,表示haveged服务安装并正常配置运行,执行8。 如果执行不成功,表示haveged服务没有正常运行,执行以下命令手动重启haveged工具,执行9。 systemctl restart
ve,应用开发请参考Hive应用开发。 元数据存储:Hive将元数据存储在数据库中,如MySQL、Derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 Hive结构 Hive为单实例的服务进程,提供服务的原理是将HQL