检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
secret_access_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx} (1 row) 父主题: 从OBS导入ORC、CARBONDATA数据
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据
创建导入任务 支持从OBS中导入新的数据,导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
ode。 导入时间间隔 选择导入时间间隔: 按小时:1~24小时。 按天:1~100天。 导入版本 选择需要导入的API版本。 根目录 选择需要导入的根目录。支持手动输入新的目录名称或为空,为空时将默认以任务名称命名。 单击“确定”,完成定时导入任务创建。 在“定时导入”页面单击
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 父主题: 导入数据
名。 导入的API定义中,如果存在冲突,那么根据系统导入的先后顺序,先导入的API会显示导入成功,后导入的API会显示导入失败。例如导入的API定义中存在2个名称相同或请求路径相同的API,那么先导入的API会显示导入成功,后导入的会显示导入失败。 如果选择扩展覆盖,当导入API
如果测试使用,需要自行在本地搭建MySQL数据库。 已知待迁移MySQL数据库的IP地址,端口,账户和密码。 业务架构图 迁移原理 本次迁移使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。
可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-
对象选择(文件导入 - 获取导入结果) 功能介绍 对象选择(文件导入 - 获取导入结果)。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 接口约束 目前仅支持Oracle-
创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据,表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000
创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapRe
并行导入 GaussDB(DWS)提供了并行导入功能,以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
0-LTS及之后版本) 配置ClickHouse对接Kafka 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据批量导入 ClickHouse数据导入导出 父主题: 使用ClickHouse
ode。 导入时间间隔 选择导入时间间隔: 按小时:1~24小时。 按天:1~100天。 导入版本 选择需要导入的API版本。 根目录 选择需要导入的根目录。支持手动输入新的目录名称或为空,为空时将默认以任务名称命名。 单击“确定”,完成定时导入任务创建。 在“定时导入”页面单击
并行导入 GaussDB提供了并行导入功能,以快速、高效地完成大量数据导入。介绍GaussDB并行导入的相关参数。 raise_errors_if_no_files 参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_file
id 否 String 模糊查询:导入任务ID 最大长度:255 start_at 否 Long 最小导入时间,UTC标准时间毫秒时间戳 最小值:1000000000000 最大值:2000000000000 end_at 否 Long 最大导入时间,UTC标准时间毫秒时间戳 最小值:1000000000000
使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。 方案架构 Bulkload是HBase提供的一个数据导入工具,它可以将数据批量地导入到HBase表中,直接写入底层数据文件和WA
导入 GS_142010105 错误码: out of memory. 解决方案:1.请确保CSV文件中的引号是成对的。 2.请检查报价选项是否合理。 3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level: ERROR GS_142050163 错误码: connection
GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。