检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
查询Doris表数据 本章节介绍查询Doris表数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句查询集群中的dbName.tableName表数据。 String querySql = "select * from " + dbName
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则: 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据(修改时间)
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
在“Topic Rank”栏,可查看当前集群Topic日志条数、数据体积大小、数据流入量、数据流出量前十名的Topic。 单击“TopicName”可进入到该Topic的详情页面中,在该页面的具体操作请参考查看Kafka数据生产消费详情。 父主题: 使用Kafka
业? 问: IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限,无法在控制台提交作业,怎么办? 答: 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限,由于权限优先级的问题导致了当前在控制台界面无法添加作业。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1:querySql1查询创建ClickHouse表创建的tableName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 示例代片段参考如下: String insertSql = "insert into " + databaseName
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据,可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁的进行加减字段,建议在业务前期规划建表时预留
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 示例代片段参考如下: String insertSql = "insert into " + databaseName
连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
0及之后版本支持。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse数据。 ClickHouse元数据恢复和业务数据恢复不能同时进行操作,否
注意事项 Join数据倾斜问题 执行任务的时候,任务进度长时间维持在99%,这种现象叫数据倾斜。 数据倾斜是经常存在的,因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大,导致大部分Reduce都已完成任务,但少量Reduce任务还没完成的情况。 解决数据倾斜的问题,可通过设置“set
备份IoTDB元数据 操作场景 为了确保IoTDB元数据安全,防止因IoTDB的元数据文件损坏等导致IoTDB服务不可用时,需要对IoTDB元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight