检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数
数据安全概述 数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师，数据安全管理员，数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时，通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联，数据读不懂。
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台，如果每日频繁调度大量的大数据作业，可能会遇到如下痛点： 作业失败无感知：大数据的离线作业大部分会在凌晨执行，当作业失败时，用户无法及时得知并处理。 作业补数窗口期较短
Go 操作场景 使用Go语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 前提条件 已获取API的域名、ID、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后，您可创建并配置实时集成作业，将多种输入及输出数据源搭配组成同步链路，进行数据的实时同步。 前提条件 已开通华为账号，并授权使用实时数据集成服务，详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组，详情请参见购买数据集成资源组。
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库（10、11、12、19版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用
配置委托时获取委托列表失败如何处理？ 可能原因 当配置工作空间级或者作业级委托，查看委托列表时，报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”，可能是权限不足引起的。 解决方案 则需要使
管理审批中心（待下线） 在已上线数据安全组件的区域，数据目录中的数据权限功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。
（可选）管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题： 作业开发
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某
授权使用实时数据集成 DataArts Studio提供实时数据同步能力，如果您期望使用该功能，本章节为您介绍相关用户授权的方法，操作流程如下。 图1 实时数据集成授权流程 约束与限制 已购买并配置DataArts Studio实例，并创建了可供使用的工作空间。 已创建IAM用户并授权使用DataArts
为什么权限同步到DLI中，会提示权限不够？ 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统
CDM不同集群规格对应并发的作业数是多少？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，
数据服务配置数据搬迁 当前管理中心支持直接搬迁数据服务组件中已发布的API数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据服务的导入导出功能进行搬迁。 约束限制 全量导出必须具备DAYU Administrator或Tenant Administrator权限。
流程设计 流程架构基于价值流产生，属于业务架构的流程处理模块，指导并规范需求的管理，确保业务需求受理、分析、交付等过程的高效运作；并聚焦高价值需求，实现业务价值最大化，支撑业务运作及目标的达成。 新建流程 根据业务需求设计流程，流程支持三层至七层，如需要修改，请参考流程层级数。 在DataArts
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，
EL表达式使用实例 通过本示例，用户可以了解数据开发模块EL表达式的如下应用： 如何在数据开发模块的SQL脚本中使用变量？ 作业如何传递参数给SQL脚本变量？ 在参数中如何使用EL表达式？ 背景信息 使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
