检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买DataArts Studio实例 DataArts Studio采用基础包+增量包的计费模式，其中基础包即DataArts Studio实例，购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有DAYU Administrator或Tenant Ad
选择执行导出操作的DLI队列。当脚本为DLI SQL时，配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时，配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后，您需要在选择的路径后方自定义一个文件夹名称，系统将在OBS路径下创建文件夹，用于存放结果文件。
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
目的端数据库中的对象名需要满足约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$。 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改。 MongoDB实时数据同步不支持单副本的数据源。 不支持在运行过程中修改MongoDB库名、集合名。 不支持自动
large规格集群，集群运行时会自动扣除折扣套餐包时长，折扣套餐包时长到期后需要删除此集群，否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支持购买增量包，例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。
该参数表示作业的Java/Scala主类。 Spark程序资源包 是 该参数表示Spark程序依赖的资源包。 资源类型 是 OBS路径 DLI程序包 DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。
获取Spark作业的演示JAR包，并在数据开发模块中关联到此JAR包。 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务
（可选）购买规格增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求，您可以额外购买增量包。在购买增量包前，请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包，功能增量包用于拓展DataArts
TOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如，当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时，由于MRS Spark节点不支持自动血缘解析，则需要手动配置MRS Spark节点的血缘关系。操作步骤如下：
TOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如，当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时，由于MRS Spark节点不支持自动血缘解析，则需要手动配置MRS Spark节点的血缘关系。操作步骤如下：
开启审批功能时，相关API的请求体需要增加审批人属性，具体见作业开发API。 审批开关的配置、作业和脚本的审批只能在前台界面进行操作。 有实时Pipeline作业的情况下，不允许打开审批开关。 审批开关打开后，审批中心功能对审批人和单据提交人都可见。审批开关关闭时，仅当前工作空间的管理员或者拥有DAYU
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
payment_type_value 1 Credit card 2 Cash 3 No charge 4 Dispute 5 Unknown 6 Voided trip 返回“码表管理”页面，找到码表“供应商”，然后在该码表所在行选择“更多 > 填写数值”。在填写数值页面，依次单击“新建”添加如表4所示的数值。
retryJobConfig.retryJobType 否 枚举 如果作业执行失败，选择是否自动重试： NONE：不重试。 RETRY_TRIPLE：重试三次。 父主题： 附：公共数据结构
Shell节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
jar”时，主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。
可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的
和开发环境的两套数据湖服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
