检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用数据开发接口报错“Workspace does not exists”怎么处理? 问题描述 调用数据开发接口,报错“Workspace does not exists”。 解决方案 代码的request请求的header要添加项目Id,即header.add("X-Project-Id",项目Id)。
API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
查询数据开发细粒度连接列表 功能介绍 查询数据开发细粒度连接列表(全量)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/fgac/dlf/datawarehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本,开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000,脚本目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。
新建作业 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。 前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录,则可以跳过当前操作。
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
通过数据开发使用参数传递灵活调度CDM作业 如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的C
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
(可选)管理脚本 复制脚本 复制名称与重命名脚本 移动脚本/脚本目录 导出导入脚本 查看脚本引用 删除脚本 解锁脚本 转移脚本责任人 批量解锁 父主题: 脚本开发
删除作业 当用户不需要使用某个作业时,可以参考如下操作删除该作业,以减少作业的配额占用。 作业删除后,将无法恢复,请确保删除作业后,不影响业务。 普通删除 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
批量解锁 数据开发模块提供了批量解锁脚本的功能,您可参照本节内容对锁定的脚本进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
导出作业 功能介绍 导出zip压缩包格式的作业文件,包括作业定义、作业依赖的脚本、CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/export
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
删除脚本 当您不需要使用某个脚本时,可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用,引用列表中显示“版本”,表示此脚本被哪些作业版本引用。单击删除时,会删除对应的作业和这个作业的所有版本信息。 如果某一个待删除的脚本正在被作业关联,请确保强制删除脚本后,不影响业
前往监控 您可以通过作业目录树,快速跳转到该作业的监控界面,查看该作业的监控详细信息。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
创建脚本 功能介绍 创建一个新脚本,当前支持的脚本类型有DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。