检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中，单击“数据服务专享版API配额”中对应配额的“设置”按钮，对已分配配额进行配置。配置完成后单击“保存”，保存当前配置。
配置互斥 通过配置互斥组，可以避免多个作业去并发的运行。配置好互斥组以后，本次设置将在作业的下一个调度周期生效。 互斥组配置完成后，在同一个互斥组内的作业，只能有一个作业是运行中，其他作业生成实例后则处于等待运行中。当运行中的作业运行完（包括执行成功、执行失败、取消）或者停止调度
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移，迁移原理与新建表/文件迁移作业相同，关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行，会根据整库
二进制格式 压缩格式 选择对应压缩格式的源文件进行迁移： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
作业参数的环境变量 CDM在创建迁移作业时，可以手动输入的参数（例如OBS桶名、文件路径等）、参数中的某个字段、或者字段中的某个字符，都支持配置为一个全局变量，方便您批量更改作业中的参数值，以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界
x版本的集群。 由于当前CDM Hive连接是从MRS HDFS组件获取core-site.xml配置信息，所以在MRS侧使用的是Hive over OBS场景时，在创建Hive连接前，需要用户在MRS管理界面的HDFS组件中配置OBS的AK、SK信息。 需确保MRS集群和DataArts S
数据开发创建数据连接，选不到指定的周边资源，可能是由于不在同一个Region下。 解决方案 请确认当前DataArts Studio实例与周边资源在同一个Region且在同一个IAM项目下。如果账户开通企业项目，则还需在同一个企业项目下。 父主题： 数据开发
据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello
数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖，只支持同周期或者大周期依赖于小周期，不支持小周期依赖于大周期。详细说明如下： 同周期依赖，依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖，依赖时间段范围为上一个周期时间段内。 图1 传统周期作业依赖关系全景图 自然
OBS连接目的端OBS桶需添加读写权限，并在连接时不需要认证文件。 CDM集群和OBS桶不在同一个Region时，不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接OBS时，相关连接参数如表1所示。
按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能，即使华为账号下的其他IAM用户无法查看到组内作业，按组批量启动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。
方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。
从字符串中获取指定字符串的第一个索引，没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式：StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引，没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式：StringUtils
不处理 删除 Hive表分区字段 “自动创建”设置为“不自动创建”时，无该此参数。 对Hive建表设置分区字段，多个值以逗号隔开。 A,B 表路径 “自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。
WHERE条件进行数据过滤及在字段映射页面添加新字段的需求，选择HDFS方式即可。 HDFS文件方式读取数据时，性能较好，但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时，支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 说明：
当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。
无：不解密，直接导出。 AES-256-GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES-256-GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”
通过配置任务组，可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业，只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。 配置方法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
