检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
in时候，需要在前面添加Global关键字，避免查询放大问题。 数据查询建议 建议查询指定分区 通过指定分区字段会减少底层数据库扫描的文件数量，提升查询性能，实际经验：700个分区的千列大表，需要查询一个分区中有7000万数据，其他699个分区中无数据，虽然只有一个分区有数据，其他分区无数据，但是查询指定分区为百毫秒
聚合函数，比如SUM()，AVG()，特别是当数据规模非常大时，达到数千万甚至数十亿，其运算结果可能会略有不同。这种情况下，建议使用DECIMAL数据类型来运算。 可以使用别名来指定数据类型。 示例： --创建具有float类型数据的表 CREATE TABLE float_t1
删除数据连接 功能介绍 删除数据连接。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一：标准格式插入数据。 INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13)
配置多个SFTP服务器时，Hive表将分成多份随机保存到各个SFTP服务器。 设置数据源信息 单击“下一步”，进入“输入设置”界面，在“源文件类型”中选择“HIVE”，设置数据源信息。 表2 数据源配置参数说明 参数名 解释说明 示例 Hive实例 在Hive作业中，Loader
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com
API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Res
单击“下一步”，进入“输出设置”界面，设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名，用于最终保存传输的数据。 说明： 表名可以使用宏定义，具体请参考配置项中使用宏定义。 test 临时表 数据库临时表表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。
典型场景：从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
禁止对分区表执行全分区数据扫描操作。 Doris数据查询建议 一次insert into select数据超过1亿条后，建议拆分为多个insert into select语句执行，分成多个批次来执行。 不要使用OR作为JOIN条件。 不建议频繁的数据delete修改，将要删除的数据攒批，偶尔
迁移Kafka节点内数据 操作场景 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。
备份HDFS NameNode元数据 操作场景 为了确保NameNode日常数据安全，或者系统管理员需要对NameNode进行重大操作（如升级或迁移等），需要对NameNode数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系
典型场景：从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁
数据库临时表表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 说明： 使用临时表是为了使得导出数据到数据库时，不会在目的表中产生脏数据。只有在所有数据成功写入临时表后，才会将数据从临时表迁移到目的表。使用临时表会增加作业的执行时间。 tmp_test 单击“保存并运行”，开始保存并运行作业。
在“备份配置”指定需要备份的数据。 支持备份元数据和业务数据。 各组件不同数据的备份任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在备份任务列表，可以查看刚创建的备份任务。 在指定的备份任务“操作”列，选择“更多 > 即时备份”，可以立即运行备份任务。 创建元数据备份任务（MRS
使用Loader从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。 如果您已经部署NFS服务器，并已配置NFS
Worker：负责执行任务和处理数据。 Connector：HetuEngine访问数据库的接口，HetuEngine通过Connector的驱动连接数据源，读取数据源元数据和对数据进行增删改查等操作。 Catalog：HetuEngine中一个catalog配置文件对应一个数据源，一个数据源可以有多
date Date timestamp DateTime 数据比较任务 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。相关操作请参见创建CDL数据比较任务作业。 父主题： 使用CDL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
