检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全支持成员管理视图,支持查看当前工作空间内成员的权限,并进行角色/权限集管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/
如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。 调度依赖就是节点间的上下游依赖关系,在DataArts Studio中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。 配置调度依赖后,可以保障调度任务在运行时能取到
用数据开发调度即可,无需配置CDM定时任务。 配置作业调度任务(批处理作业) 配置批处理作业的作业调度任务,支持单次调度、周期调度、事件驱动调度三种方式。操作方法如下: 单击画布右侧“调度配置”页签,展开配置页面,配置如表1所示的参数。 表1 作业调度配置 参数 说明 调度方式 选择作业的调度方式:
更新:如果表已存在,更新已有的表信息。如果表处于“已发布”状态,表更新后,您需要重新发布表,才能使更新后的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下两种方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载关系建模导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
”保存配置。 图4 保存配置 保存成功后,切换到实例页签,选择配置已过期的实例后,单击“更多 > 滚动重启实例”,使配置生效。 图5 滚动重启实例 配置Spark代理权限 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Spark> 配置 > 基础配置”或“集群
审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心:数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您需要根据自己的业务需要进行自定义配置。 数据调研:基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研,输出企业业务流程以及数据主题划分。
图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Android Studio,如果未安装,请至Android Studio官方网站下载。 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。
认证前准备。 获取并安装Go安装包,如果未安装,请至Go官方网站下载。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Go插件,如果未安装,请按照图1所示安装。 图1 安装Go插件 获取SDK 登录DataArts
与“依赖的作业失败后,当前作业处理策略”参数有关,具体如下: “依赖的作业失败后,当前作业处理策略”参数配置为“挂起”或“取消执行”后,当其依赖的作业B在某段时间内存在运行失败实例,则作业A“挂起”或“取消执行”。 “依赖的作业失败后,当前作业处理策略”参数配置为“继续执行”,只
是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
失败时如何处理? 问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题: 数据集成(CDM作业)
群,则需要进行如下配置: 关闭HANA集群的Statement Routing开关。但须注意,关闭Statement Routing,会增加配置节点的压力。 新建HANA连接时,在高级属性中添加属性“distribution”,并将值置为“off”。 完成配置后,CDM即可正常连接HANA集群。
如果您需要对调用结果进行自定义调整,则还可以配置如下Query参数: (可选)分页配置:默认情况下,对于配置方式和默认分页的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。
Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU Administrator、Tenant Guest或Tenant
DIS连接 介绍 通过DIS连接可以与DIS建立连接,并按照用户指定配置将DIS中的数据迁移到其他数据源。 连接样例 { "links": [ { "link-config-values": { "configs":