检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量解锁 数据开发模块提供了批量解锁作业的功能,您可参照本节内容对锁定的作业进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link
设置所选作业的责任人,只能从当前工作空间中的用户选择。 如果设置为保持不变,则各作业保持原来的责任人。 周期作业实例并发数 设置所选作业并行处理的数量。 如果设置为保持不变,则保持原来的周期作业实例并发数。 是否清理超期等待运行的作业实例 如果设置为取消运行,需要配置超期天数。当作业实例等待运行的时间超过
obMamager和TaskManager日志,便于用户查看实时同步情况,并通过日志定位或排查异常问题。 前提条件 实时集成作业已正常运行一段时间(约5分钟)。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数,表示连接DMS Kafka的用户名。 linkConfig
删除作业 当用户不需要使用某个作业时,可以参考如下操作删除该作业,以减少作业的配额占用。 作业删除后,将无法恢复,请确保删除作业后,不影响业务。 普通删除 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
务变慢时,将会产生相应的事件,用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调用时长信息,根据超时阶段进一步优化API配置。 ____________Duration
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。
当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。
当您需要查看某个脚本或者某个文件夹下的所有脚本被引用的情况时,可以参考如下操作查看引用。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
复制脚本 本章节主要介绍如何复制一个脚本。 前提条件 已完成脚本开发,请参见开发脚本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
前往监控 您可以通过作业目录树,快速跳转到该作业的监控界面,查看该作业的监控详细信息。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
新建实时集成作业 前提条件 作业在每个工作空间的最大配额为10000,请确保当前作业的数量未达到最大配额。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。 表1 FTP/SFTP连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交脚本、删除脚本以及导入“提交态”的脚本时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚 提交版本后,可以在版本列表中看到已经提交
前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。