检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 数据连接名称,可通过本接口的全量数据连接列表返回结果获取。 type 否 String 数据连接类型,可通过本接口的全量数据连接列表返回结果获取。 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
MongoDB连接 介绍 通过MongoDB连接,可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
使用APP认证调用API 认证前准备 Java Go Python C# JavaScript PHP C++ C Android curl 其他编程语言 父主题: 数据服务SDK参考
数据集:数据集就是DLI SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput('preDLI')},其中preDLI为前一个节点的名称。 子作业参数:用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集Table_List表的第一列
MRS Presto数据连接参数说明 表1 MRS Presto数据连接 参数 是否必选 说明 数据连接类型 是 MRS Presto连接固定选择为MapReduce服务(MRS Presto)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
作数据连接、数据集成任务,角色的权限说明请参见权限列表章节。 配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索(DLI)云服务底层使用统一纳管集群资源,首次使用时需要通过DLI云服务创建跨源场景委托,用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限,详细请参见配置DLI云服务委托权限。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”,时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用,比如需要以yyyy-MM-dd格式返回当前时间时,参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”,时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用,比如需要以yyyy-MM-dd格式返回当前时间时,参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示
CDM可以跨账户使用吗? CDM不支持跨账户使用,可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下: 创建用户组并授权 在IAM控制台创建用户组,并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。
数据集:数据集就是DLI SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput('preDLI')},其中preDLI为前一个节点的名称。 子作业参数:用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集Table_List表的第一列
useSSL 否 Boolean 是否使用加密传输,支持对RDS服务启用SSL加密传输,仅在创建dws连接时才有此参数。 linkConfig.jdbcProperties 否 Map 连接属性,指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 linkConfig
C 操作场景 使用C语言调用APP认证的API时,您需要先获取SDK,参考API调用示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev
如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参数DATE,脚本参数DATE的值支持使用EL表达式。如果是变量时间的话,需要使用DateUtil内嵌对象的表达式,平台会自动转换成历
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
获取并安装Python安装包(可使用2.7.9+或3.X),如果未安装,请至Python官方下载页面下载。 Python安装完成后,在命令行中使用pip安装“requests”库。 pip install requests 如果pip安装requests遇到证书错误,请下载并使用Python执行
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
DataConnectionVO objects 数据连接信息数组 表6 DataConnectionVO 参数 参数类型 描述 dw_name String 数据连接名称。 dw_id String 数据连接ID。 display_name String 数据连接名称,适配现有实现。 dw_type