检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
图1 新建脱敏 适配脱敏算法后,支持用户在线进行测试。输入测试数据,单击“测试”,在测试结果文本框中进行验证。 开启或关闭状态,只有启用状态下的脱敏策略才可生效。
表8 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果 转储最大结果 DLI 1000 1000条且少于3MB 无限制 Hive 1000 1000条且少于3MB 10000条或3MB DWS 1000 1000条且少于3MB 10000条或3MB
图23 导入关系建模表 上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图24 导入关系建模表成功 在主题树上方,依次选择其他模型,进入模型后重复步骤2~步骤4,依次导入其他模型的表。
相关概念 基线:用户将重要任务加到基线上并设置承诺时间后,系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成,系统将发出告警。 承诺时间:任务运行成功的最晚时间点。即面向数据应用,任务承诺在该时间点前完成。
如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。
Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。
系统默认。 数据连接 是 数据表所属的数据连接。系统默认。 数据库 是 数据表所属的数据库。系统默认。 模式 是 选择数据库的模式。 表描述 否 数据表的描述信息。
如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。
系统支持批量审核。 可以通过“提交时间”进行筛选,查看所选时间段内已提交的待我审核的对象。 可以通过“对象”或“创建人”进行筛选,查看待我审核的对象。系统支持模糊搜索。 已审核 在已审核页面,可以查看当前工作空间下所有已审核对象。
开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息(元数据、数据字典、数据血缘)。 协助执行IT相关的数据治理工作。
周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。 在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。
运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控 > 对账作业”,选择要运行的对账作业。 单击“操作”列的“运行”。 企业模式下,选择运行环境,系统支持可选择“开发环境”或“生产环境”。 单击“确定”。
由系统生成,用户无需填写。 rows_read Long 作业读取的行数。由系统生成,用户无需填写。 files_written Integer 写入文件数。由系统生成,用户无需填写。
在导入作业过程中,若作业关联的数据连接、dis通道、dli队列、GES图等在数据开发模块系统中不存在时,系统会提示您重新选择。 父主题: (可选)管理作业
不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。
表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。
操作步骤 图2 授权流程 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。
操作步骤 图2 授权流程 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。
单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。 图1 引用脚本模板 脚本创建完成后,单击“保存”,脚本412_test创建完成。