检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置数据开发作业 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 创建一个批处理的Pipeline作业并进入作业配置页面。
父主题: 脚本开发API
instances/34765/stop 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.0137", "error_msg":"Job instance does not exist." } 父主题: 作业开发
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要查看的作业,右键单击作业名称,选择“查看作业依赖关系图”,界面弹出“作业依赖关系视图”页面。
variable" } ] } 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.0100", "error_msg":"The job does not exists." } 父主题: 作业开发
"tag_names": [] } 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.100", "error_msg":"The job does not exists." } 父主题: 作业开发
单击第一个工作空间A的“数据开发”,系统跳转至数据开发页面,新建数据开发作业job1。分别选择Dummy节点和DIS Client节点,选中连线图标并拖动,编排如图2所示的作业。
单击“开发API > API管理”页面,进入API管理页面。 在API列表上方,选择“更多 > 全量导出”,弹出导出确认窗口。 全量导出必须具备DAYU Administrator或Tenant Administrator权限。
父主题: 作业开发API
父主题: 作业开发API
通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚本关联的连接名称。
免费版:基于DLI的电商BI报表数据开发流程 示例场景说明 步骤1:数据准备 步骤2:数据开发处理 步骤3:服务退订
} 响应示例 成功响应 { "instanceId":132343 } 失败响应 HTTP状态码 400 { "error_code":"DLF.0100", "error_msg":"The job does not exists." } 父主题: 作业开发
true, "status_code": 200 } 失败响应 HTTP状态码 400 { "error_code": "DLF.30100", "error_msg": "Job[job_2284221] does not exist" } 父主题: 作业开发
package_ids":["12","13"]} 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主题: 作业开发
" } 父主题: 作业开发API
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
失败响应 HTTP状态码 400 { "error_code":"DLF.3051", "error_msg":"The request parameter is invalid." } 父主题: 作业开发API
resourcePath 是 String 自定义Spark Jar包OBS资源路径 parameters 是 String Spark Jar包自定义参数 对于开发的自定义Jar包,可以在此处对参数进行输入替换 input 否 String 输入路径 MRS Spark作业输入数据路径