检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建作业”,开始创建从OBS导出数据到云搜索服务的任务。 图6 创建OBS到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据的桶。 源目录或文件:待迁移数据的路径,也可以迁移桶下的所有目录、文件。 文
字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,请一一将源字段指向含义相同的目的字段。请将鼠标移至某一个字段的箭头起点,当光标显示为“+”的形状时,按住鼠标,将箭头指向相同含义的目的字段,然后松开鼠标。
数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_
在连接管理界面找到需要修改的连接: 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,修改连接时需要重新输入数据源的登录密码。 测试连通性:单击操作列的“测试连通性”,直接测试已保存连接的连通性。
是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String 脚本名称。 instance_id 是 String 脚本实例id,获取方法请参见执行脚本的响应参数。 请求参数 表2 请求Header参数
Studio的工作空间可以删除吗? DataArts Studio已经支持删除工作空间。 为避免误删除导致的业务受损,删除工作空间需要 Administrator或Tenant Administrator账号才能操作,且删除工作空间的前提是各组件内已无业务资源,各组件校验的资源如下:
描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 permission_set_id 是 String 权限集id。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID
FormData参数 参数 是否必选 参数类型 描述 type 是 String 需要上传的资源type (rule-template、quality-task、consistency-task)。 file 是 File 上传的资源文件。 响应参数 状态码: 200 表4 响应Body参数
支持云审计的关键操作 管理中心操作列表 数据集成操作列表 数据架构操作列表 数据开发操作列表 数据质量操作列表 数据目录操作列表 数据服务操作列表 父主题: 审计日志
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 resource_id 是 String 资源导出导入任务ID,通过导出资源或者导入资源返回内容获得。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String
参数 是否必选 类型 说明 toJobConfig.index 是 String 写入数据的索引,类似关系数据库中的数据库名称。 toJobConfig.type 是 String 写入数据的类型,类似关系数据库中的表名。 toJobConfig.shouldClearType 否
是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 permission_set_id 是 String 权限集id。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
如何查看DataArts Studio的版本? 您可以在DataArts Studio实例卡片中查看DataArts Studio版本,如下图所示。 图1 DataArts Studio实例卡片 父主题: 咨询与计费
SSS'Z',-1,DAY)}")}},表示查找ts字段中大于时间宏转换后的值,即只导出昨天以后的数据。 参数配置后,CDM就只导出前一天内的数据,再将该作业配置为每天0点执行一次,就可以增量同步每天新生成的数据。 父主题: 增量迁移原理介绍
规范化的数据如何使用? 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息,也可以作为上层应用的源数据,也可以接入各类数据可视化报表等。 父主题: 数据架构
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘,是在数据开发
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数