检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核
n Language，简称EL），根据运行环境动态生成参数值。数据开发EL表达式包含简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量：环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所使用到的信息。 补数据：手工触发周期方式调度的作业任务，生成某时间段内的实例。
Spark作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 Spark程序资源包
en进行安全认证。 API工具调用：需要调用IAM服务的获取用户Token接口获取Token，再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权，所有用户均可访问。 API工具调用：直接调用，无需认证信息。
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为
SDK概述 DataArts Studio服务软件开发工具包（DataArts Studio SDK，DataArts Studio Service Software Development Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如
管理控制台，进入“集群管理”，在集群列表中找到所需要的集群。 按下F12，打开开发者调试工具，然后选择Network功能。 图1 选择Network 在DWS控制台中，单击待查看的DWS集群名称，进入集群“基本信息”页面。然后在开发者调试工具的Network请求中，寻找Name形如“clusters?ty
部署者操作 部署者作为管理开发任务上线的人员，需要审批待发布任务，相关操作如下文所示。 部署者审批开发者提交的发布任务，审批通过后才能将修改后的作业同步到生产环境。 在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。
当选择“自定义镜像”时，请选择自定义的镜像名称，版本号系统自动展示。您可以前往容器镜像服务进行设置。 作业运行资源 否 8核32G内存 16核64G内存 32核128G内存 作业主类 否 该参数表示作业的Java/Scala主类。 Spark程序资源包 是 该参数表示Spark程序依赖的资源包。
相对于直接查看SQL脚本的执行结果，通过下载和转储能够支持获取更多的执行结果。各类SQL脚本查看、下载、转储支持的规格如表4所示。 表4 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果 转储最大结果 DLI 10000 1000条且少于3MB 无限制
因此您需要准备两套数据湖服务（即两个集群），且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。 例如，当您的数据湖服务为MRS集群时，需要准备两套MRS集群，且版本、规格、组件、区域、VPC、子网等保持一致。如果某个MRS集群修改了某些配置，也需要同步到另一套MRS集群上。
数据API调用；当使用其他认证方式时，可以通过API调用工具或浏览器调用。 APP认证：将APP认证方式的API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证，支持通过SDK或API调用工具调用，安全级别高，推荐使用。 IAM认证：将IAM认证方式
台”，选择“数据地图”或对应工作空间的“数据目录”，进入数据地图或数据目录页面。 图1 选择数据地图或数据目录 按下F12，打开开发者调试工具，然后选择Network功能。 图2 选择Network 在数据地图的“首页”界面或“数据搜索”界面，或者在数据目录的“总览”界面或“数据
跨空间进行作业调度 适用场景 当您已按照工作空间划分权限，不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系，可参见本教程操作实现跨空间作业调度。 方案说明 DataArts Studio数据开发模块支持以事件触发的方式运行作业，因此通过DIS或者MRS
作。 设计数据质量规格，承接数据需求，对数据问题及争议进行裁决。 建设和维护本领域信息架构。 建立和推动领域数据文化和氛围。 数据代表（Data Representatives）：数据代表是领域数据治理工作的专家带头人。 深刻理解数据工作的目标、方法、规则、工具，并通过识别关键业
点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 作业对象：提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象：提供了一系列字符串、时间、JSON操作方法，例如从一个字符串中截取一个子字符串、时间格式化等。
主题首次同步名称冲突时，会将普通目录修改为主题目录属性，带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时，会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后，需要手动再次单击才能同步到主题目录。 特殊的，数据架构处的主题或主题层级删除后，手动同步后目录不会删除，仅去除主题目录属性，作为普通目录进行展示。
Translation）或端口转发，以代理的方式访问。 这里重点介绍如何通过端口转发工具来实现访问内部数据，流程如下： 找一台windows机器作为网关，该机器必须可以直接访问Internet，同时可以访问内网。 在该机器上安装端口映射工具（IPOP）。 通过端口映射工具（IPOP）配置端口映射。 长时间将内网数据库
试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG共享版控制台新建一个API分组（详情请参考创建API分组），然后在数据服务发布时选择对应API分组，独享每天最多访问1000次的规格。另外，您还可以为API分组绑定一个或多个独立域名（详情请参考绑
迁移作业原理 数据迁移模型 CDM数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
