检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传增量数据 使用CDM将存量数据上传完后,单击该作业后的“编辑”,直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
12小时制(0~11)的小时 10 z 时区 Eastern Standard Time ' 文字定界符 无示例 " 单引号 无示例 日期和时间模式一般在DateUtil内嵌对象和Job内嵌对象中使用,更多日期和时间模式的使用举例,请参见DateUtil内嵌对象和Job内嵌对象。 举例 获
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标表
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,右键单击数据连接名称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下:
7级。 标准模板管理 标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面,也会显示制定数据标准模板的页面。 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“标准模板管理”。
心中适用组件已勾选“数据集成”的数据连接,实时集成作业支持的数据源详情请参见实时集成作业支持的数据源。 表1 DataArts Studio支持的数据源 数据源类型 管理中心 数据架构 数据开发 数据目录[2] 数据质量[3] 数据服务 数据安全 数据仓库服务(DWS) √ √ √
码表和数据标准有什么关系? 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成,码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。 父主题: 数据架构
在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。 表5 逆向数据库配置 参数名称 说明 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型,请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到码表目录中,需要先在DataArts
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
csv”,将后文提供的样例数据复制粘贴到CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档中复制样例数据,
提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS
数据指标应用 创建完数据指标的相关数据后,请前往数据架构模块,进行数据集市建设,新建数据集市层并发布汇总表。汇总表能够引用指标管理里的指标,发布后进行指标结果物化。 本示例中,先创建汇总表所需的主题,汇总表依赖于主题架构,然后创建汇总表,汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。
记录数据迁移入库时间 CDM在创建表/文件迁移的作业,支持连接器源端为关系型数据库时,在表字段映射中使用时间宏变量增加入库时间字段,用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库,以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
记录数据迁移入库时间 CDM在创建表/文件迁移的作业,支持连接器源端为关系型数据库时,在表字段映射中使用时间宏变量增加入库时间字段,用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库,以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集
CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。 什么是数据复制服务(DRS)? 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库实时迁移和数据库实时同步的云服务。DRS适合迁移