检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
- - 导入连接（待下线） 将存放在OBS桶的连接文件导入到数据开发模块中，一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制（次/s） 用户流量限制（次/s） 创建脚本 创建一个新脚本。 300 30 修改脚本内容 本接口用以修改脚本的配置项或者脚本内容。
支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示，日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成，字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
当消费到的record到达结束时间，则终止抽取任务。起止时间范围左闭右开:[起始时间，结束时间)。可配合调度任务使用。 最早：表示从开始点位消费数据。 最新：表示从最后点位消费数据。已提交：拉取已提交的数据。起止时间策略，等待时间，最大抽取时间相互独立。只要有任意一个条件符合，则kafka抽取结束。
门名称作为标签，设置到被使用的实例上。在分析话单时，就可以通过该部门名称的标签来分析此部门的开发使用成本。 DataArts Studio以键值对的形式来描述标签。一个实例默认最大拥有20个标签。每个标签有且只有一对键值。键和值可以任意顺序出现在标签中。同一个实例标签的键不能重复，但是值可以重复，并且可以为空。
SQL或Transform Load节点第一个Insert SQL语句的作业ID，不指定参数nodeName时，获取前面一个节点第一个DLI Insert SQL语句的作业ID，如果无法获取到作业ID，返回null值。 获取DLI SQL节点test中第一个Insert SQL语句的job
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“
CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 列表文件 当“
CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时，目的端也必须为文件系统。
添加SNAT规则 选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如：
current表示当前遍历到的For Each节点“数据集”中定义的二维数组的某一行，该数据行为一维数组。 一般定义格式为#{Loop.current[0]}、#{Loop.current[1]}或其他。其中[0]表示遍历到的当前行的第一个值，[1]表示遍历到的当前行的第二个值，以此类推。
For Each节点使用介绍 引用脚本模板和参数模板的使用介绍 开发一个Python作业 开发一个DWS SQL作业 开发一个Hive SQL作业 开发一个DLI Spark作业 开发一个MRS Flink作业 开发一个MRS Spark Python作业 父主题： 数据开发
据迁移。本文以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For
数据目录API 数据开发API 数据架构API 数据质量API 数据服务API SDK文档 数据服务SDK 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 02 计费 DataArts Studio采用基础包+增量包的计费模式。为了便于您便捷的
注册API 本文将为您介绍如何将已有的后端服务API，借助数据服务统一注册发布到API网关，与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册，包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制
添加分类。 资产关联分类 将一个分类关联到一个或多个指定guid的资产上。 移除资产关联的分类 移除资产关联分类。 资产分级接口 表7 资产分级接口 API 说明 批量资产关联密级 批量资产关联密级，单个密级关联到多个资产上。 资产关联密级 关联资产到密级，资产关联指定密级。 移除资产关联密级
在这种情况下，您可以导出当前集群的API，然后重新新建一个开启“公网入口”的数据服务专享版集群，再将旧集群的API导入到新集群上，即可开启公网访问。 另外，如果您已有开启公网入口的APIG专享版或ROMA Connect实例，也可以选择将API发布到APIG专享版或ROMA Connect实例上，通过APIG专享版或ROMA
已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 新建DWS脱敏策略前，已完成如下操作： 已在管理中心创建数据仓库服务（DWS）类型的数据连接，请参考创建DataArts Studio数据连接。 已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
