检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 Hive默认数据仓库的权限被修改,会影响当前用户,用户组,其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围;会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以r
本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table if not exists
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method
状态下需要将密码信息补齐后再提交作业。 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL Server数据类型 BOOLEAN BOOLEAN TINYINT(1) - BOOLEAN
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:Dis
建议一个恢复任务只恢复一个组件的元数据,避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据,可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复,会导致数据恢复失败。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启Name
批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。 方案架构 Bulkload是HBase提供的一个数据导入工具,它可以将数据批量地导入到HBase表中,直接写入底层数据文件和WAL日志,从而显著提升了数据加载的速度和效率。
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则: 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据(修改时间)
Streamload数据导入适合10 GB以内的数据量、Brokerload适合百GB以内数据,数据过大时可考虑使用SparkLoad。 禁止使用Doris的Routine Load进行导入数据操作,推荐使用Flink查询Kafka数据再写入Doris,更容易控制导入数据单批次数据量,避免大量小文件产生。如果确实已经使用了Routine
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table if not exists
维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuE
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
普通集群修改Ranger数据源为Ldap 安全集群Ranger数据源默认为FusionInsight Manager Ldap用户。普通集群Ranger数据源默认为集群Unix用户。 前提条件 集群模式为普通模式。 已安装Ranger组件。 操作步骤 登录FusionInsight
Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等,它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能: 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录; 查询编辑器能够编
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into
启动Presto客户端,具体请参见使用Presto客户端执行查询语句的2~8。 在Presto客户端中执行查询语句select * from hive.default.u_user; 查询alluxio上创建表。 图1 Presto查询alluxio上创建的表 父主题: 使用Alluxio
建),单击“确定”。 其他参数根据实际需要进行配置。 在左侧导航栏选择“元数据 > 数据库”,单击“创建数据库”,配置以下信息并单击“提交”。(如果当前已包含名称为“default”的数据库,则跳过数据库的创建操作。) 库名称:default(固定名称,不可自定义) 所属Catalog:hive