检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。
查询Hive数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Hive用户自定义函数。
ka任务恢复CDL数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService与Kafka数据。 MRS集群中默
上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时,可将数据库对应的驱动文件通过界面上传,方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。
HBase自带的一些机制和工具命令也可以实现数据搬迁,例如通过导出Snapshots快照、Export/Import、CopyTable方式等,可以参考Apache官网相关内容。 图1 HBase数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。 约束与限制 搬迁数据量较大
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象,然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段: KuduTable table
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象,然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段: KuduTable table
分析Impala数据 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。 修改以下变量为false,标识连接集群的认证模式为普通模式。
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Impala用户自定义函数。
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见Impala样例程序指导。
数据库临时表表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 说明: 使用临时表是为了使得导出数据到数据库时,不会在目的表中产生脏数据。只有在所有数据成功写入临时表后,才会将数据从临时表迁移到目的表。使用临时表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。
新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Doris数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 前提条件 如果需要从远端HDFS恢复数据,需满足以下条件: 需准备一个用于恢复数据的备集群,且该集群已完成数据备份,详细操作请
手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据,建议手动备份最新Flink元数据后,再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。 Flink元数据恢复和业务数据恢复不能
接收块中的元数据(Metadata)被发送到Driver的StreamingContext。这个元数据包括: 定位其在Executor内存中数据位置的块Reference ID。 若启用了WAL,还包括块数据在日志中的偏移信息。 处理数据(红色箭头) 对每个批次的数据,Strea
USING: 源表查询语句。 ON:源表和目标表匹配的条件。 WHEN: 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据: INSERT INTO prod.db.table VALUES
查询OpenTSDB数据 功能简介 使用OpenTSDB的查询接口(/api/query)读取数据。 函数genQueryReq()生成查询请求,函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb