检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM迁移作业的抽取并发量,与集群规格和表大小有关。 按集群规格建议每1CUs(1CUs=1核4G)配置为4。 表每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。 是否写入脏数据:建议配置为“是”,然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据,
该参数。将该自定义规则与质量六性(完整性、有效性、及时性、一致性、准确性、唯一性)进行关联。 输出结果说明 当“规则类型”选择“自定义规则”时,需要配置该参数。 对SQL获得结果的每一列进行说明,与SQL关系定义的输出结果顺序一一对应,输出结果说明字段个数与SQL的输出参数个数不
配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts Studio实例内所有工作空间的数据安全组件内,拥有最高权限。数据安全组件中,仅安全管理员和DAYU Administrator系统角色有权限进行如下操作: 配置空间权限集
Administrator或Tenant Administrator权限。 每个工作空间每分钟仅能全量导出一次,同时只能有一个全量导出任务执行。 导入API时,仅专享版支持导入后直接发布API、更新重名API,以及按照导入文件定义自动新建审核人(须确保审核人已为当前工作空间成员)。 全量导出API 全量导出时会将全
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 移动作业或作业目录。 方式一:通过右键的“移动”功能。
搬迁到新建的工作空间中。 操作前准备 已创建新的工作空间,新建工作空间的用户需要具备DAYU Administrator或Tenant Administrator权限。 执行数据搬迁的用户,至少应具备新旧两个工作空间的开发者权限。 CDM集群和数据服务专享版集群在工作空间之间相互
简易变量集等,让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数,但作用范围不同;另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突,调用的优先级顺序为:作业参数 > 工作空间环境变量参数 > 脚本参数。 表1
目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 约束与限制 仅管理员角色的用户支持管理审批人,可新建和删除审批人。 审批管理 用户可在审批中心页面,查看自己提交的申请及进度,查看待自己审批的申请
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。
补数据的作业实例都是成功的,为什么补数据任务失败了? 问题描述 补数据的作业实例成功,补数据任务失败了。 解决方案 补数据任务包含了其他工作空间的作业,可以在别的工作空间查看同名补数据任务的作业实例执行(失败)情况。 父主题: 数据开发
作业开发流程 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。
Administrator或者数据安全管理员创建,它限定了整个工作空间用户可访问的权限范围。在空间权限集之下定义的权限集,权限范围只能是空间权限集的子集。 空间权限集和权限集在配置上都是将用户与权限直接关联,二者使用上的区别在于: 空间权限集是没有父权限集的顶层权限集,一般每个工作空间下创建一个即可;而权限集必
在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。 参考访问DataArts S
需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空间成员、配置自定义角色。自定义工作空间角色的具体操作请参见(可选)自定义工作空间角色,添加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。
添加工作空间成员并配置角色 使用华为账号登录DataArts Studio管理控制台的首页,单击“空间管理”。 图19 空间管理 选择需要加入的工作空间,单击“编辑”。 图20 编辑工作空间 在空间信息界面,单击“添加”。 图21 添加成员 将新建的IAM用户加入工作空间,单击“确定”。
能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。 约束与限制 数据集成中的集群配置、环境变量等数据不支持导入导出,如有需要,请您进行手动配置同步。 由于安全原因,CDM不会将对应数据源的连接密码导
在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织: 图1 数据治理工作组织 父主题: 数据治理组织架构
性(离线/实时)以及为指定的队列配置用户权限策略,另外工作空间管理员用户也可以为用户组/用户配置队列权限策略。 当前工作空间分配的队列资源和配置的队列权限并无绑定关系,队列权限策略实际上落在数据源配置中。因此,当删除当前工作空间的队列资源后,已配置的队列权限策略依然生效;重新添加队列资源后,权限依然可见。
Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。 数据源准备 本入门示例以某电商商城的BI报表数据为例,分析用户和商品的各种数据特征。
单击“添加作业标签”,弹出“添加作业标签”对话框进行配置。 7 查看作业的节点信息 单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。 说明: 当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 8 “禁用”和“恢复”节点 单击作业名称,进