华为云用户手册

前提条件 在创建数据连接前，请确保您已创建所要连接的 数据湖 （如 DataArts Studio 所支持的数据库、云服务等）。 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 在创建 MRS HBase、MRS Hive等MRS类型的数据连接前，需确保您已购买MRS集群，并且集群中包含所需要的组件。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的 CDM 集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 如果使用企业模式，您还需要注意以下事项： 由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、E CS ），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务（例如 DLI ），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。 离线集成作业不支持在企业模式下运行。 例如，当您的数据湖服务为MRS集群时，需要准备两套MRS集群，且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置，也需要同步到另一套MRS集群上。

创建数据连接 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在管理中心页面，单击“数据连接”，进入数据连接页面并单击“创建数据连接”。 图1 创建数据连接 单击“创建数据连接”，在弹出的页面中，选择“数据连接类型”为“ 数据仓库 服务（DWS）”，并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务（DWS）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开，即只能通过SSL方式连接。开关关闭，即两种方式均可。默认关闭。 手动 是 选择连接模式。 使用集群名模式时，通过选择已有集群名称进行连接配置。 使用连接串模式时，手动填写对应集群的IP或 域名 、端口进行连接配置，且需打通本连接Agent（即CDM集群）和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群，系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 表示通过内部网络访问集群数据库的访问地址，可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成，您可以通过管理控制台获取访问地址： 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 端口 是 “手动”选择为“连接串模式”时需要配置本参数。 表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口，以便DataArts Studio实例可以通过该端口连接DWS集群数据库。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中已创建的密钥。 绑定Agent 是 DWS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。 CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建DWS连接，为确保两者网络互通，CDM集群必须和DWS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名，创建DWS集群时指定的用户名。 密码 是 数据库的访问密码，创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后，呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后，呈现此参数。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后，呈现此参数。 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 引用符号 否 适用组件勾选数据集成后，呈现此参数。 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 单击“测试”，测试数据连接的连通性。如果无法连通，数据连接将无法创建。 测试通过后，单击“确定”，创建数据连接。

前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前，需确保您已购买MRS集群，并且集群中包含所需要的组件。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 如果使用企业模式，您还需要注意以下事项： 由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务（例如DLI），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。 离线集成作业不支持在企业模式下运行。 例如，当您的数据湖服务为MRS集群时，需要准备两套MRS集群，且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置，也需要同步到另一套MRS集群上。

参考 为什么在创建数据连接的界面上MRS Hive集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。

前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前，需确保您已购买MRS集群，并且集群中包含所需要的组件。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 如果使用企业模式，您还需要注意以下事项： 由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务（例如DLI），DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系，在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源，建议通过名称后缀进行区分，详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，详细操作请参见DB配置。 离线集成作业不支持在企业模式下运行。 例如，当您的数据湖服务为MRS集群时，需要准备两套MRS集群，且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置，也需要同步到另一套MRS集群上。

约束与限制 通过 IAM 应用授权的IAM认证方式API，仅支持通过当前账号及其归属用户的Token进行调用，不支持其他账号及其归属用户调用。如有需要可以通过白名单授权的方式授权给其他账号，详见通过白名单授权IAM认证方式API。 IAM认证方式的API只能授权给IAM类型的应用。 IAM类型的应用每个DataArts Studio实例下仅能创建一个，名称固定为华为账号，且不支持修改。 对于数据服务共享版IAM认证方式的API，系统已默认记录了当前账号的白名单，不支持删除，因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。

约束与限制 对于数据服务共享版IAM认证方式的API，系统已默认记录了当前账号的白名单，不支持删除，因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。 申请API授权时，仅支持通过应用授权的方式，暂不支持白名单授权方式。 APP认证方式的API只能授权给APP类型的应用。 IAM认证方式的API只能授权给IAM类型的应用。

约束与限制 使用APP认证方式的API必须先通过应用授权才能调用。 APP认证方式的API只能授权给APP类型的应用。 仅数据服务专享版支持重置APP类型应用的AppSecret。 仅DAYU Administrator、Tenant Administrator或者工作空间管理员支持重置APP类型应用的AppSecret。 APPSecret限制一分钟内重置一次，重置记录可在事件管理内查看。 重置APPSecret会导致已授权的API调用失败，请谨慎操作。

配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果不存在，则添加新记录。 替换：使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果没有，则不会添加新记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。 导入前准备语句的执行不会影响即将写入的数据内容。 {"type":"remove","json":"{$or:[{Pid:{$gt:'0',$lt:'2'}},{X:{$gt:'50',$lt:'80'}}]}"} 父主题： 配置CDM作业目的端参数

配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通API结果集，支持对一个或多个节点的结果集名称进行映射，映射后的名称会作用到JSON或文件名中，未映射的结果集将不会输出到最终返回结果中。 节点映射表达式写法固定为“${节点编码|payload}”，节点编码可通过在API编排的画布中，单击节点后在节点详情中查看，并支持通过复制。 图1 查看节点编码 例如节点编码为NormalApi_5a256，则节点映射表达式为“${NormalApi_5a256|payload}”，结果集名称定义为“销售记录”。 格式转换 否 工作流默认按照JSON字符串格式输出结果，支持将已映射的结果集数据导出为CSV、TXT、Excel或XML文件，一个数据集一个文件，最终打包成ZIP压缩文件进行导出。 注意导出时不支持断点续传。 父主题： 编排API

配置并行处理算子 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时，配置API工作流的失败策略。 任一分支失败则终止：表示当并行分支中存在失败情况时，则此API工作流置为失败状态，不再继续执行。 分支失败继续执行：表示当并行分支中存在失败情况时，继续执行其他分支和后续算子。当所有分支均失败导致后续算子无法执行时，则此API工作流置为失败状态。 分支1 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 分支2 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 ... 分支n 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 父主题： 编排API

算子和工作流简介 在API工作流编排页面，您可以自由拖拽各类算子到画布中，然后基于特定的业务逻辑和流程通过连线编排工作流，最后配置算子，完成后即可保存、调试及发布工作流。 API编排支持五类可拖拽的算子，分别为：入口API、普通API、条件分支、并行处理和输出处理。其中，入口API位于最上游，输出处理位于最下游，中间部分可以是普通API、条件分支和并行处理这三类算子的任意组合。注意，编排工作流时需要满足如下要求： 有且只有一个入口API算子，并位于最上游，向下只能有一个分支。 至少有一个普通API算子，并位于中间层，上下游均有其他算子，向下只能有一个分支。 条件分支算子可选，位于中间层，必须至少有2个分支，最多支持20个分支，多个分支满足条件时仅执行第一个满足条件的分支。 注意，条件分支的直接下游不能为输出处理算子，只能获取上级算子请求参数或结果集进行条件判断。 并行处理算子可选，位于中间层，必须至少有2个分支，最多支持20个分支，必须配置失败策略。 注意，并行处理的直接下游不能为输出处理算子，只能支持同时执行多个分支逻辑，分支间互不影响。 有且只有一个输出处理算子，并位于最下游，直接上游必须为普通API算子，必须配置至少一个结果映射。 API工作流不能有环状结构，不能有孤立算子，最多支持20层深度。 图1 API工作流编排页面 表1 API工作流算子介绍 配置入口 算子 是否必选 介绍 触发器 入口API 必选 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 入口API算子的配置方法，详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的算子。普通API即已创建的数据API，编排API时您可以从API目录内拖拽一个普通API作为执行算子进行取数，并将请求参数或结果集作为变量传递下去。 普通API可参考配置方式生成API或脚本/MyBatis方式生成API进行创建。 逻辑控制器 条件分支 非必选 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断，根据定义的表达式来确定下一步执行的分支。注意，多个分支满足条件时仅执行第一个满足条件的分支。 条件分支算子和表达式的配置方法，详见配置条件分支算子。 并行处理 非必选 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 并行处理算子的配置方法，详见配置并行处理算子。 输出处理 必选 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 输出处理算子的配置方法，详见配置输出处理算子。

删除API 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航栏选择服务版本（例如：专享版），进入总览页。 在左侧选择“API目录”，进入API列表页，勾选需要删除的API，单击“删除”。 只有未发布状态（如已创建、已下线）的API可以删除，已停用或发布状态不可删除。 批量删除API最多同时删除1000个API。 单击“确定”，完成API删除。

共享版规格 数据服务共享版无具体的规格指标，在表3中给出了用户创建和使用API的相关配额说明。 如果您需要修改默认限制值，请参考如何申请扩大配额。 表3 数据服务使用限制明细 限制项 默认限制 能否修改 API分组数量 每个用户最多创建50个API分组。 √ API数量 每个用户最多创建200个API。 √ 后端策略数量 每个用户最多创建5个后端策略。 √ 应用数量 每个用户最多创建50个应用。应用配额包括用户自行创建的应用和API市场购买API生成的应用。 √ 流控策略数量 每个用户最多创建30个流控策略。 用户流量限制不超过API流量限制。 应用流量限制不超过用户流量限制。 源IP流量限制不超过API流量限制。 √ 访问控制策略数量 每个用户最多可以创建100个访问控制策略。 √ VPC通道数量 每个用户最多创建30个VPC通道。 √ 变量数量 每个分组在任意一个环境中，最多创建50个变量。 √ 弹性云服务器数量 每个VPC通道最多添加200个弹性云服务器。 √ 参数数量 每个API最多创建50个参数。 √ 发布历史数量 同一个API在每个环境中最多记录10条最新的发布历史。 √ 每个API的访问频率 不超过200次/秒。 √ 特殊应用 阈值不超过API流量限制值。 x 子域名访问次数 每个子域名每天最多可以访问1000次。 x 调用请求包的大小 API每次最大可以调用12M的请求包 x TLS协议 支持TLS1.1和TLS1.2，推荐使用TLS1.2。 x 实名认证 未实名认证的用户，无法进行任何的创建操作。 x

API返回数据规格 数据服务适用于小批量数据的快速响应交互场景，不适用于将大量数据通过API的方式返回。当前通过数据服务API返回数据的规格如下表所示。 表5 API的返回数据条数限制 API分类 使用场景 数据源 默认规格（条） 配置类API 调试API DLI/MySQL/RDS/DWS 10 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL - 10 调试API DLI 默认分页：100 自定义分页：1000 MySQL/RDS/DWS 默认分页：10 自定义分页：2000 调用API DLI 默认分页：100 自定义分页：1000 MySQL/RDS/DWS 默认分页：10 自定义分页：2000

共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用，专享版数据服务需要购买专享版集群增量包，并在实例中管理API。 专享版数据服务常用于企业内部系统解耦，各服务部署在云上的VPC内，服务之间以RESTful API方式通信，通信链路在VPC内部进行，网络安全得到进一步保障。同时专享版实例支持前端或后端服务部署在公有网络，通过绑定弹性公网IP实现网络交互。 表1 共享版与专享版数据服务差异 差异项 共享版 专享版 计费 - 根据集群规格按包年包月计费。 按照API使用额度计费：每个工作空间具有10个API免费试用额度，超过试用配额每天每个API按1元收费。 网络访问 公网访问。 实例运行在虚拟私有云（VPC）中，在VPC内，使用实例子网地址调用API。 可通过开启公网入口与出口访问，允许外部服务调用API，及后端部署在外部网络环境中。 云市场售卖 API可在云市场公开售卖。 不支持将API上架到云市场公开售卖。 使用对象 小型用户。 物理隔离要求较低，能够开箱即用，快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群， 更丰富的特性。 满足内部API调用跟API开放，独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版 专享版 基本功能 精细化流控策略 30个 500个 IP&用户访问控制 √ √ 安全认证 √ √ API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群 × √ 出、入网带宽独立 × √ 推荐每秒请求次数 200TPS 8000-30000TPS

管理集群共享 专享版集群创建成功后，默认仅能在绑定的工作空间内使用。如果您需要在其他工作空间使用此集群，则可以进行集群共享，共享后在其他工作空间可查看、使用但不能管理该集群，并能将API发布至该集群。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择已购买专享版集群的工作空间的“数据服务”模块，进入数据服务页面。 在数据服务集群页面单击“集群”，进入集群列表页面。 单击集群名称，进入集群详情页面。 在集群详情页面，单击“共享管理”页签，进入共享管理页面。 图3 进入共享管理页面 单击“共享”，在弹出的窗口中勾选需要共享的工作空间后，单击“确定”完成集群共享。 图4 选择工作空间 对于已共享集群的工作空间，您可以在该工作空间内，正常查看、使用该集群。 如后续需要取消该工作空间的集群共享，则需要先下线该工作空间已在集群上发布的API，再到绑定工作空间的数据服务集群详情页面，取消共享。

操作步骤 购买数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，参见表1进行配置。 表1 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式，当前支持“包年包月”。 工作空间 选择需要使用数据服务专享集群增量包的工作空间。例如需要在DataArts Studio实例的工作空间A中使用数据服务专享版，则此处工作空间应选择为A。集群购买成功后，即可通过在工作空间A查看到创建好的数据服务专享集群。 如果需要在其他工作空间内使用该集群，您可以在集群创建成功后，参考管理集群共享将该集群共享给其他工作空间。 可用区 第一次购买DataArts Studio实例或批增量包时，可用区无要求。 再次购买DataArts Studio实例或增量包时，是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 集群名称 - 集群描述 可以自定义对当前数据服务专享版集群的描述。 版本 当前数据服务专享版的集群版本。 集群规格 不同实例规格，对API数量的支持能力不同。 公网入口 开启“公网入口”，创建集群时会为集群自动绑定一个新建的弹性公网IP，后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景，建议开启。如果在创建集群时未开启公网入口，后续则不再支持绑定EIP。 带宽大小 可配置公网带宽范围。 虚拟私有云 DataArts Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源（如ECS），可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组，确保网络安全的同时，方便网络配置。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明： 目前专享版集群创建完成后不支持切换VPC、子网、安全组，请谨慎选择。 如果开启公网入口，安全组入方向需要放开80（HTTP）和443（HTTPS）端口的访问权限。 此处支持选择共享VPC子网，即由VPC的所有者将VPC内的子网共享给当前账号，由当前账号在购买数据服务专享版集群时选择共享VPC子网。通过共享VPC子网功能，可以简化网络配置，帮助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 安全组 企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式，具体请参见企业管理用户指南。 节点数量 - 购买时长 - 单击“立即购买”，确认规格后提交。

网络环境准备 如图1所示，专享版集群创建后，资源位于资源租户区，由ELB统一对集群节点进行负载均衡。 专享版集群创建后，您可以通过如下途径访问集群API： 内网地址：内网地址为用户VPC内的终端节点IP地址，默认具备。 外网地址（可选）：外网地址为绑定在ELB上的EIP地址。EIP仅在创建数据服务集群时，勾选开启公网入口，才会具备。 内网域名（可选）：内网域名是指在VPC中生效的域名。创建集群后可通过“绑定内网域名”，输入自定义内网域名，数据服务调用DNS服务将内网域名与内网地址相关联。 公网域名（可选）：公网域名是在Internet中使用公网解析的域名。创建集群后可通过“绑定公网域名”，输入已完成注册、备案的域名，数据服务调用DNS服务将公网域名与外网地址相关联。 图1 专享版集群网络架构说明 因此，为了保证专享版集群API能够被用户访问，集群创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS），可以使用专享版实例的私有地址调用API。 在购买时专享版实例时，建议配置和您其他关联业务相同VPC，确保网络安全的同时，方便网络配置。 弹性公网IP 专享版实例的API如果要允许外部调用，则需要购买一个弹性公网IP，并在购买时绑定给实例，作为实例的公网入口。 安全组 安全组类似防火墙，控制谁能访问实例的指定端口，以及控制实例的通信数据流向指定的目的地址。安全组入方向规则建议按需开放地址与端口，这样可以最大程度保护实例的网络安全。 专享版实例绑定的安全组有如下要求： 入方向：如果需要从公网调用API，或从其他安全组内资源调用API，则需要为专享版实例绑定的安全组的入方向放开80（HTTP）、443（HTTPS）两个端口。 出方向：如果后端服务部署在公网，或者其他安全组内，则需要为专享版实例绑定的安全组的出方向放开后端服务地址与API调用监听端口。 如果API的前后端服务与专享版实例绑定了相同的安全组、相同的虚拟私有云，则无需专门为专享版实例开放上述端口。 路由配置 在物理机纳管场景下，如果物理机纳管网段与集群网段不一致，需要配置路由。 进入集群“基本信息”页面，单击配置路由项的“新建”按钮，新增物理机的IP地址，如图2所示。 图2 基本信息

操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航选择服务版本（例如：专享版），进入总览页。 单击左侧导航栏中的“审核中心”，进入相应页面后，选择“审核人管理”页签，然后单击“新建”按钮。 图1 新建审核人界面 选择审核人（此处的账户列表来自于工作空间成员），输入正确的手机号码和电子邮箱，单击“确认”完成审核人的添加。 根据需要，可以添加多个审核人。

管理审核人 数据服务平台提供管理审核人的功能，您可在审核中心新建和删除审核人，下面以新建审核人为例介绍如何操作。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航选择服务版本（例如：专享版），进入总览页。 单击左侧导航栏中的“审核中心”，进入相应页面后，选择“审核人管理”页签，然后单击“新建”按钮。 图1 新建审核人界面 选择审核人（此处的账户列表来自于工作空间成员），输入正确的手机号码和电子邮箱，单击“确认”完成审核人的添加。 根据需要，可以添加多个审核人。

操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务，您需要通过创建并选择流控策略，针对部分API进行流量控制。流控策略和API本身是相互独立的，只有将流控策略绑定API后，流控策略才对绑定的API生效。 同一个环境中一个API只能被一个流控策略绑定，一个流控策略可以绑定多个API。

调用API方式简介 创建API时，有三种认证方式可选，不同认证方式的API支持的调用方式也有所不同，详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 （推荐）APP认证 高 通过APP应用将API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证。 （推荐）SDK调用：支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言。 API工具调用：需要通过JavaScript SDK包中的demo.html手动生成签名后，再使用API工具调用。 （推荐）通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 推荐使用APP认证+SDK调用方式，帮助您简单、快速地通过数据API获取到开放数据。 IAM认证 中 通过IAM应用或白名单将API授权给账号后，借助从IAM服务获取的用户Token进行安全认证。 API工具调用：需要调用IAM服务的获取用户Token接口 获取Token ，再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权，所有用户均可访问。 API工具调用：直接调用，无需认证信息。 浏览器调用：当API入参位置在Query和Path时，支持浏览器调用。如果入参位置在Header或Body，由于无法传参因此不支持浏览器调用。 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。 父主题： 通过不同方式调用API

配置API参数 配置API基本信息后，即可配置API参数。这里将配置API的后端服务和请求参数。 表2 API参数配置说明 配置 说明 协议 用于传输请求的协议，支持HTTP和HTTPS协议。 用于数据服务模块向待注册 API服务 传输请求。 请求方式 HTTP请求方法（也称为操作或动词），它告诉服务你正在请求什么类型的操作。用于数据服务模块向待注册API服务传输请求。 GET：请求服务器返回指定资源。 POST：请求服务器新增资源或执行特殊操作。 后端服务HOST 待注册API服务所在的Host，不能以http://或https://开头，并且不包含Path。 后端服务PATH 待注册API服务所在的Path，Path中支持参数，参数要放在{}中，如/user/{userid}。 后端超时（ms） 设置后端超时时间。 后端服务参数 请求参数位置支持Path、Header、Query，不同的请求方式所支持的可选参数位置不一样，请根据产品上提供的可选项按需选择。 常量参数 常量参数即参数值是固定的参数，对调用者不可见，API调用时不需传入常量参数，但后台服务始终接收这里定义好的常量参数及参数值。适用于当您希望把API的某个参数的取值固定为某个值以及要对调用者隐藏参数的场景。

测试API 填写入参取值。 如果单个参数需要传多个值时，写法如下： 字符串：'a','b','c' 数值：1,2 字段：a,b,c 图6 填写入参取值 （可选）调整排序参数描述pre_order_by的值。 pre_order_by的默认值已由系统根据已配置的所有排序参数给出，自定义排序默认为升序。排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”，其中ASC表示升序，DESC表示降序，多个排序参数描述以“英文分号”进行分隔。勾选“是否传值”后，测试结果将按照pre_order_by的值排序。 对于pre_order_by的值，您可以进行如下修改： 删掉某可选的排序参数，则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式，则此排序参数按照修改后的排序方式排序。 pre_order_by的值，不支持进行如下修改，否则会修改不生效或导致调用报错。 删掉某必选的排序参数，则此排序参数依然会正常参与排序，删除不生效。 调整排序参数的前后顺序，则排序依然以SQL中的排序参数顺序为准。调整不生效。 修改升序或降序的排序参数为其他排序方式，则会调用失败，不允许修改。 图7 调整排序参数描述pre_order_by的值 （可选）查看分页参数值。 采用默认分页方式时，可以查看分页参数情况，其中pageSize表示分页后的页面大小，pageNum表示页码。默认按100的大小分页，返回第1页数据。 图8 查看分页参数值 完成API参数的配置并保存后，单击左下角的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，当数据服务API查询返回值超过默认100秒无结果时，会报超时错误。 如果测试失败，请仔细查看错误提示并做相应的修改重新测试。 完成API测试之后，单击“确定”，即成功生成了一个数据API。

配置取数逻辑 本例中以脚本方式说明如何配置API取数逻辑。Mybatis方式与之相比差异在于参数解析形式和支持的语法差异，在使用流程上没有区别。 如果使用Mybatis方式生成API，则需要将本章节脚本中的参数解析格式由${parameter}修改为#{parameter}形式，另外Mybatis方式支持的标签语法可在界面中单击脚本编辑处的，查看弹出的Mybatis脚本编辑提示。 “取数方式”选择“脚本方式”或“MyBatis方式”： 选择数据源、数据连接、数据库等数据信息。 数据服务仅支持部分数据源，详情请参见DataArts Studio支持的数据源。您需提前在DataArts Studio管理中心中配置好数据源，按照脚本编辑提示要求输入SQL语句。 选择分页方式，推荐使用自定义分页方式。 默认分页是指在创建API时输入了SQL，数据服务会自动基于SQL外层包装分页逻辑。 例如输入的SQL脚本为： SELECT * FROM userinfo WHERE id=${userid} 数据服务在处理调试或者调用时，将自动在用户SQL外层包装分页逻辑，从而变成以下脚本： SELECT * FROM (SELECT * FROM userinfo WHERE id=${userid}) LIMIT {limitValue} OFFSET {offsetValue} 其中limitValue表示读取的数据条数，offsetValue表示跳过的数据条数（即偏移量），系统将默认赋值。 自定义分页是指在创建API时，数据服务将不对SQL进行处理，分页逻辑需要在写SQL时由用户自定义。 如果已知需要读取的数据条数limitValue和需要跳过的数据条数offsetValue，则分页逻辑可以写成以下脚本： SELECT * FROM userinfo WHERE id=${userid} LIMIT {limitValue} OFFSET {offsetValue} 而在实际使用中，更多的是根据分页后的页面大小pageSize和页码pageNum定义分页逻辑，脚本样式如下： SELECT * FROM userinfo WHERE id=${userid} LIMIT {pageSize} OFFSET {pageSize*(pageNum-1)} 值得注意的是，不同的数据源具有不同的语法风格，分页脚本应按照数据源语法要求调整。例如： DLI数据源不支持“LIMIT {limitValue} OFFSET {offsetValue}”的写法，仅支持“LIMIT {limitValue}” 。 HETU数据源分页需要反转，不支持“LIMIT {limitValue} OFFSET {offsetValue}”的写法，仅支持“OFFSET {offsetValue} LIMIT {limitValue}”。 编写API查询SQL。 在脚本编辑页面，单击脚本编辑处的，按照脚本编辑提示开发SQL查询语句。单击可将入参添加为SQL语句的API请求参数。另外，专享版数据服务支持返回总条数，开启后可返回取值脚本执行结果数据的总条数。 例如，需要在用户表中根据用户ID查询用户信息时，取值脚本可写为如下脚本。其中，“id”为userinfo表中的字段，“userid”为API中定义的入参。 SELECT * FROM userinfo WHERE id=${userid} 如果分页方式为自定义分页，页面大小pageSize为10、页码pageNum为2时，按照LIMIT {pageSize} OFFSET {pageSize*(pageNum-1)}转换方法，脚本可写为： SELECT * FROM userinfo WHERE id=${userid} LIMIT 10 OFFSET 10 图2 编写API查询SQL 脚本编辑完成后，单击脚本编辑窗口下方的“测试SQL”，填写入参值，执行验证是否能返回预期结果。如果测试失败，可在“预览SQL”页签下查看实际运行的SQL语句是否符合预期，或者通过“日志”页签查看报错信息。 图3 测试SQL SELECT查询的字段即为API返回参数，支持通过AS返回别名。 WHERE条件中的参数为API请求参数，脚本方式下参数格式为${参数名}，MyBatis方式下参数格式为#{参数名}。 专享版数据服务支持返回总条数，开启后可返回取值脚本执行结果数据的总条数。 如果单个参数需要传多个值时，写法如下： 字符串：'a','b','c' 数值：1,2 字段：a,b,c 添加排序参数。 在排序参数列表中，单击“新建”可设置排序字段。 字段名称对外不可见，是所选的数据表中的字段，是API调用时实际访问的内容。在API查询SQL语句已编写完成且测试通过的前提下，可在“字段名称”输入框中选择排序字段。 变量可自定义，用于与字段名称关联。在“变量”输入框中输入参数名称（一般填写为参数名称即可），系统会自动修改为变量形式。 是否可选决定了调用API时此排序参数是否必选，勾选则表示此参数可以不传，可以通过排序参数描述pre_order_by的值配置是否参与排序；不勾选则此参数必传，即使排序参数描述pre_order_by的值未配置此参数，依然会参与排序。 排序方式表示了当前参数允许使用的排序形式，分为升序、降序以及自定义。自定义排序参数默认为升序排序，可通过排序参数描述pre_order_by的值进行调整；而升序或降序的排序参数，不支持通过pre_order_by的值调整排序方式，如果pre_order_by的值与此处设置排序方式不符，则会导致配置调试或调用报错。 多个排序参数时，表示当第一个排序参数相等时，再逐一用后续排序参数去排序。与配置方式不同的是，参数的排序顺序与添加排序字段的先后无关，而是需要通过SQL脚本自定义，并且不支持通过排序参数描述pre_order_by的值进行调整。 注意，脚本/MyBatis API的排序字段必须要使用ORDER BY添加到SQL语句中，才能使该排序参数生效，单击可将排序参数添加到SQL语句。添加ORDER BY参数时，关联字段名即可，多个排序字段的先后顺序由脚本定义，不支持在脚本中通过ASC或DESC设置顺序或降序方式。SQL语句中未添加的排序参数即使在排序参数描述pre_order_by的值中定义，排序也不会生效。 例如，需要在用户表中根据用户ID查询用户信息，先后通过age和kk两个字段排序，页面大小pageSize为10、页码pageNum为2时，脚本样例如下。 SELECT * FROM userinfo WHERE id=${userid} order by ${age},${kk} LIMIT 10 OFFSET 10 图4 添加排序参数 脚本编辑完成后，单击脚本编辑窗口下方的“测试SQL”，填写入参值和排序参数描述pre_order_by的值，执行验证是否能返回预期结果。 pre_order_by的默认值已由系统根据已配置的所有排序参数给出，自定义排序默认为升序。排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”，其中ASC表示升序，DESC表示降序，多个排序参数描述以“英文分号”进行分隔。勾选“是否传值”后，测试结果将按照pre_order_by的值排序。 对于pre_order_by的值，您可以进行如下修改： 删掉某可选的排序参数，则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式，则此排序参数按照修改后的排序方式排序。 pre_order_by的值，不支持进行如下修改，否则会修改不生效或导致调用报错。 删掉某必选的排序参数，则此排序参数依然会正常参与排序，删除不生效。 调整排序参数的前后顺序，则排序依然以SQL中的排序参数顺序为准。调整不生效。 修改升序或降序的排序参数为其他排序方式，则会调用失败，不允许修改。 如果测试失败，可在“预览SQL”页签下查看实际运行的SQL语句是否符合预期，或者通过“日志”页签查看报错信息。 图5 测试SQL 单击“下一步”，进行API测试页面。

测试API 填写入参取值。 如果单个参数需要传多个值时，写法如下： 字符串：'a','b','c' 数值：1,2 字段：a,b,c 图6 填写入参取值 （可选）调整排序参数描述pre_order_by的值。 系统根据5中已配置的所有排序参数已给出pre_order_by的默认值，自定义排序默认为升序。排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”，其中ASC表示升序，DESC表示降序，多个排序参数描述以“英文分号”进行分隔。勾选“是否传值”后，测试结果将按照pre_order_by的值排序。 对于pre_order_by的值，您可以进行如下修改： 删掉某可选的排序参数，则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式，则此排序参数按照修改后的排序方式排序。 pre_order_by的值，不支持进行如下修改，否则会修改不生效或导致调用报错。 删掉某必选的排序参数，则此排序参数依然会正常参与排序，删除不生效。 调整排序参数的前后顺序，则排序依然以配置排序参数时的排序参数顺序为准。调整不生效。 修改升序或降序的排序参数为其他排序方式，则会调用失败，不允许修改。 图7 调整排序参数描述pre_order_by的值 （可选）调整分页参数值。 系统会对返回数据进行分页，pageSize表示分页后的页面大小，pageNum表示页码。API调试时默认按100的大小分页，返回第1页数据。 API调试时，page_size (系统默认) 最大为100，当page_size值大于100时，默认查出的数据仍为100条。 图8 调整分页参数值 完成API参数的配置并保存后，单击左下角的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，当数据服务API查询返回值超过默认100秒无结果时，会报超时错误。 如果测试失败，请仔细查看错误提示并做相应的修改重新测试。 完成API测试之后，单击“确定”，即成功生成了一个数据API。

约束限制 如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。

操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。

API开放方使用流程 您作为API提供者，需要实现一个或一组API的开放，那么您需要先后完成以下工作： 购买并管理专享版集群 如果您需要使用数据服务专享版，需要先购买专享版集群。 新建数据服务审核人 在创建API前，需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中，生成API支持两种方式（配置方式生成API和脚本/MyBatis方式生成API）。 调试API API创建后需要验证服务是否正常，管理控制台提供了调试功能。 发布API 只有将API发布后，API才支持被调用。 管理API 您可以根据您的需要，对已创建发布的API进行管理。 编排API 编排API是将已经开发好的服务API接口，在无需编写复杂代码的情况下，根据特定的业务逻辑和流程进行可视化的重组和重构，从而实现在不影响原生接口的前提下进行简便的二次开发。 （可选）配置流控策略 为了保护后端服务的稳定的考虑，您可以对API进行流量控制。 （可选）主动授权API 应用定义了一个API调用者的身份。对于使用APP或IAM认证方式的API，必须在API授权后，才能获得认证信息以用于API调用。