检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST
单表同步:适用于数据入湖和数据上云场景下,表或文件级别的数据同步,支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步:适用于数据入湖和数据上云场景下,多库多表同步场景,支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库
是否离线导入,取值为是或者f否,默认取否。 是: 表示离线导入,导入速度较快,但导入过程中图处于锁定状态,不可读不可写。 否:表示在线导入,相对离线导入,在线导入速度略慢,但导入过程中图并未锁定,可读不可写。 重复边忽略Label 否 重复边的定义,是否忽略Label。取值为是或者否,默认取是。
查看API访问日志 操作场景 支持专享版用户API调用日志的查询,包括请求路径,请求参数,请求响应结果等。 当前数据服务日志仅支持专享版。 配置云日志基础服务 为了能够在云日志服务上面看到数据服务API的日志,需要配置云日志服务。关于云日志服务的详细配置和操作方法,请参见《云日志服务用户指南》。
作业管理 作业管理可以实现在同构、异构数据源之间进行表或文件级别的数据迁移,支持表/文件迁移的数据源请参见支持的数据源。 适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系统。 创建作业 数据开发 DataArts Studio数据开发是一个一站式敏捷大数据开发平台,提供可视化
控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回
行统一管理。 目前数据服务共享版支持Restful风格的API注册,包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务共享版,进入总览页。 进入“开发API
Doris能够较好的满足报表分析、即时查询、统一数仓构建、数据湖联邦查询加速等使用场景。 云数据库 RDS 华为云RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 MySQL MySQL是目前最受欢迎的开源数据库之一,其性能卓越,架构成熟稳定,支持
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
0/19),下一跳跳至其他云的VPN网关,建议参考其他云VPN官网资料进行配置。 必要时,其他云上的VPN网关路由表中也需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至其他云的VPN连接/网关,建议参考其他云VPN官网资料进行配置。
异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用但仅限于存量用户调测使用,数据服务专享版需要通过数据服务专享集群增量包创建集群后使用。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用,受限于服务稳定性和生命周期策略,不建议用于生产环境。
面进行选择,这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后,支持用户在线进行测试。输入测试数据,单击“测试”,在测试结果文本框中进行验证。 开启或关闭状态,只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts
Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
计费项 计费项子类 计费项说明 计费模式 计费说明 DataArts Studio基础包 新版本模式: 初级版 专家版 企业版 旧版本模式: 初级版 基础版 高级版 专业版 企业版 DataArts Studio基础包对应DataArts Studio实例,如果需要使用DataArts
表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。 本文介绍2.9.2.200版本CDM集群所支持的数据源。因各版本集
关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费升级到其他版本或删除当前免费版实例后,您可以再次购买免费版。但再次购买免费版时不能再勾选“CDM套餐包”,折扣套餐仅在首次购买免费版时赠送。 购买时长 1年 按您的需求选择购买的时长。 自动续费 - 勾选自动续费前的复选框,可实现自动按月或者按年续费。
和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用,使用数据服务专享版需要在购买DataArts Studio基础包实例后,购买专享版集群增量包。 购买方式请参见:套餐包方式购买数据服务专享集群的增量包。