检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面: 套餐计费:在DataArts Studio控制台购买的CDM集群,套餐计费时仅支持在DataArts Studio控制台购买的套餐包;在CDM控
持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。 执行如下SQL语句,在demo_sdi_db数据库中,创建一个原始表,用于存储原始数据。 在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据表。 您可以在DataArts Studio数据开发
URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 package_id 是 String 发布包ID。获取方法请参考“查询发布包列表”的响应参数“package_id”。 请求参数 表2 请求Header参数
帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 您可以使用本文档提供的API对数据治理中心的各组件进行相关操作,如创建集群、创建连接等。支持的全部操作请参见API概览。 在调用数据治理中心API之前,请确保已经
发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客
最活跃Top10电影的计算方法是:平均评分大于3.5的电影中用户评分数最多的10部电影。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DWS SQL脚本,以通过DWS SQL语句来创建数据表。 图4 新建脚本 在新建脚本弹出的S
DM作业实际启动时间-偏移量”。 2019-07-01 00:00:00 忽略不存在原路径/文件 在迁移过程中发现文件在源路径下不存在的情况下是否报错。如果将其设为是, 那么文件在源路径下不存在的情况下也能成功执行。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。
您最多可以创建20个用户组,如果当前资源配额无法满足业务需要,您可以申请扩大配额,具体方法请参见:如何申请扩大配额? 在用户组列表中,单击新建用户组右侧的“授权”。 图5 进入用户组权限设置页面 在搜索框中输入DAYU User,勾选该系统角色,单击“下一步”。 图6 角色授权 请勿勾选“DAYU
在数据开发主界面的左侧导航栏,选择“运维调度 > 实例监控”。 在作业所在的“操作”列,单击“重跑”设置重跑当前作业实例;或单击作业名称左边的复选框,再选择页面上方的“重跑”按钮可以批量设置多个作业的实例重跑。 图1 设置单个作业重跑 图2 批量设置作业重跑 批量设置多个作业实例重跑时,仅需要配置重跑开始
目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。 索引:待写入数据的Elasticsearch索引,也可以输入一个新的索引,CDM会自动在云上搜索服务中创建。 类型:待写入数据的Elasticsearch类型,可输入新的类型,CDM支持在目的端自动创建类型。
开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。
来选择角色类型。企业模式的相关介绍请参见企业模式概述。 当该角色在简单模式空间下使用时,选择为“开发&生产模式,自定义角色”。 当该角色在企业模式空间下的开发环境下使用时,选择为“开发模式,自定义角色”。 当该角色在企业模式空间下的生产环境下使用时,选择为“生产模式,自定义角色”。
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
获取单个工作空间信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/workspaces/{instance_id}/{workspace_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
导入DWS的数据库名称为public,表名为cdm_all_type,导入前不清空数据。 当DWS数据库里没有本地MySQL数据库中的表时,CDM自动在DWS端创建该表。 DWS端加载的字段列表为id&gid&name。 作业抽取数据时,并发执行的Extractor数量为3。 如果返回状态码为200,则说明创建命令执行成功。
来选择角色类型。企业模式的相关介绍请参见企业模式概述。 当该角色在简单模式空间下使用时,选择为“开发&生产模式,自定义角色”。 当该角色在企业模式空间下的开发环境下使用时,选择为“开发模式,自定义角色”。 当该角色在企业模式空间下的生产环境下使用时,选择为“生产模式,自定义角色”。
Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即
查询补数据实例 功能介绍 查询补数据实例列表,支持分页查询。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/supplement-data?sort={sort}&page={
调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/scripts 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。
String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String 脚本名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。