检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数
必须指定MongoDB服务器的集合。 未指定MongoDB服务器的集合,请指定后,再重试。 Cdm.1305 必须指定MongoDB服务列表。 未指定MongoDB服务列表,请指定后,再重试。 Cdm.1306 必须指定MongoDB服务的数据库名称。 未指定MongoDB服务的数据库名称,请指定数据库后,再重试。
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。
设置工作空间配额 使用DataArts Studio前,您需要为当前工作空间设置工作空间配额(当前仅支持数据服务专享版API配额)。如果当前工作空间的“已使用配额”超出“已分配配额”,或者“总使用配额”超出“总分配配额”,则会导致相应业务使用受限,例如无法再新建数据服务专享版API。
设置工作空间配额 使用DataArts Studio前,您需要为当前工作空间设置工作空间配额(当前仅支持数据服务专享版API配额)。如果当前工作空间的“已使用配额”超出“已分配配额”,或者“总使用配额”超出“总分配配额”,则会导致相应业务使用受限,例如无法再新建数据服务专享版API。
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
数据服务SDK参考 数据服务SDK概述 SDK使用前准备 SDK调用常见错误码/错误信息 使用APP认证调用API
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam
the CDM logs. CDM上的代理拒绝服务。 SQL执行时间过长 CDM资源不足了 确认SQL执行时长,如果时间过长,建议优化SQL(默认分页的话则建议使用自定义分页)。 如果SQL执行时间较短,当前没有其他服务正在作业的话,重启CDM。 DAYU.1088 Failed to
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令:
PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些
auth_duration: 70ms //鉴权耗时 befor_sql_duration: 402ms //执行SQL预处理耗时 sql_duration: 60001ms //SQL执行耗时 after_sql_duration:18ms //执行SQL后处理耗时 获取API信息 参考访问DataArts
CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 如何处理CDM连接器报错“配置项
数据迁移 CDM”服务购买CDM集群),如何购买请参考购买批量数据迁移增量包。 [2] 作业节点调度次数/天:该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的,可以通过“作业节点调度次数/天增量包”进行扩容,如何购买请参考购买作业