检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 MySQL > Hudi
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 PostgreSQL
批量删除资源权限策略 功能介绍 批量删除资源权限策略 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-resource/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时,CDM会读取集合的首行数据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
步骤9:服务退订 本开发场景中,DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用
Postman调用接口返回结果正常,为什么测试环境调用接口的URL参数不生效? 问题描述 Postman调用接口返回结果正常,测试环境调用接口的URL参数不生效。 解决方案 URL的参数连接符&需要转义。 父主题: 数据开发
获取当前目录下的目录列表(全量) 功能介绍 获取当前目录下的目录列表(全量数据,不分页,推荐仅用于生成目录树等无法分页的场景)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id
CloudTable OpenTSDB连接参数说明 连接CloudTable OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link
配置OBS源端参数 作业中源连接为OBS连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 源目录或文件
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时,源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,监控显示的是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据
SAP HANA连接参数说明 连接SAP HANA时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 SAP HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,
(推荐)通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据
通过API工具调用IAM认证方式的API IAM认证方式的API调用前,需要调用IAM服务的获取用户Token接口获取Token,然后通过Token进行安全认证。 本章节以Postman工具为例,为您介绍如何使用API工具调用IAM认证方式的API,主要包含如下几步: 获取API信息
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求,
DataArts Studio实例中的CDM没有计费是什么原因? 购买非免费版的DataArts Studio实例时,系统会赠送一个4核CPU、8G内存规格CDM集群,不会产生费用。 注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio管理中心数据连接的
查看API不同操作对应的实例信息(专享版) 功能介绍 查看API不同操作对应的实例信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述