检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图5 表关联规则评分 导出质量报告 您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。
您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients.createDefault
归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
脏数据要写入的连接,目前只支持写入到OBS连接。 obslink OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。
none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。
更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载 OBS数据存储 如何通过OBS控制台上传和下载数据。 智能客服 您好!
对象存储 对象存储服务(OBS) 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。
上传数据到名称为“fast-demo”的OBS桶中。 使用OBS控制台上传文件的操作,请参见《对象存储服务控制台指南》中的上传文件。
添加工作空间用户 User saveWorkspaceUser 编辑工作空间用户 User updateWorkspaceUser 删除工作空间用户 User deleteWorkspaceUser 下载文件 Config downloadFile 创建导入导出任务 Config createObsImportOrExportTask
例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题: 数据集成(CDM作业)
1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK
查询服务目录 功能介绍 查询服务目录。 调用方法 请参见如何调用API。
您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。
创建服务目录 功能介绍 创建服务目录。根目录编号为0。 调用方法 请参见如何调用API。
驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。
对象存储服务(OBS)数据源约束 迁移文件时系统会自动并发,任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片,需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。
Impala数据连接参数说明 MRS Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS
归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
说明: 因为DataArts Studio不支持底层服务(例如,以前的CDM、DLI等服务)的补数据实例和周期调度作业实例并发运行,为了保证补数据实例不影响周期调度作业实例运行,两种类型作业实例不会抢占并发,所以,作业的周期调度的日期与该作业补数据的业务日期不能重合,周期调度和补数据不能同时运行
obsconfig 否 OBSCommonConfig object obs配置,概要采集不涉及。 表4 TableColumnDTO 参数 是否必选 参数类型 描述 column_name 否 String 字段名称。 description 否 String 字段描述。