检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下：
复合指标是由一个或多个衍生指标叠加计算而成，其中的维度、时间周期均继承于衍生指标。注意，不能脱离衍生指标、维度和时间周期的范围，去产生新的维度和时间周期。 由于衍生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活
数之和计算的。其中数据开发作业的每天调度次数，是以节点（包含Dummy节点）为粒度进行度量的，另外补数据任务也会计入度量次数，但测试运行、失败重试不会计入。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 DataArts
跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE: 已下线
CREATE_SUCCESS: 创建成功 CREATE_FAILED: 创建失败 UPDATE_SUCCESS: 更新成功 UPDATE_FAILED: 更新失败 SUMMARY_SUCCESS: 整体成功 SUMMARY_FAILED: 整体失败 RUNNING: 整体运行 OFFLINE: 已下线
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
migration作业产生异常，报错执行DDL失败，失败原因为：column "t_col" contains null values。 原因分析 DWS数据库为oracle兼容模式时，会将空字符串视为NULL做处理，因此在有数据的场景下，不能添加默认值为空串的非空列。 解决方案 1.
入阶段表，则从阶段表导入到目的表，这样避免导入过程失败，在目的表遗留部分成功数据。 如果选择“是”，则启用事务模式迁移，作业会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚到作业开始之前的状态，具体请参见事务模式迁移。
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
status 否 String 实例运行状态： waiting：等待运行 running：运行中 success：运行成功 fail：运行失败 running-exception：运行异常 skip-by-depend：跳过 freeze：冻结 pause：暂停 manual-stop：取消
样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB，否则运行需要解析样本文件的静态脱敏任务时，静态脱敏任务可能会失败。 OBS样本文件只能用于DLI引擎的静
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码：401 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码，如DS.6000，请求处理失败。 error_msg String
LAUNCHING：提交中 RUNNING：运行中 FINISHED：执行成功 FAILED：执行失败 results 是 List<Result> 执行结果 message 否 String 执行失败消息。 表4 Result数据结构说明 参数名 是否必选 参数类型 说明 message
FLOAT（M，D） 不能使用无符号的浮点数字。可以定义显示长度（M）和小数位数（D）。这不是必需的，并且默认为10，2。其中2是小数的位数，10是数字（包括小数）的总数。小数精度可以到24个浮点。 52.36 FLOAT FLOAT4 DOUBLE（M，D） 不能使用无符号的双精度
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
