检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这里假设是将内网MySQL迁移到云服务DWS,网络拓扑样例如图1所示。 图中的内网既可以是企业自己的数据中心,也可以是在第三方云的虚拟数据中心私网。 图1 网络拓扑样例 操作步骤 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求: 在该
使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts
录树等无法分页的场景)。 2400 120 更新服务目录 更新服务目录。 2400 120 查询服务目录 查询服务目录。 2400 120 创建服务目录 创建服务目录。根目录编号为0。 2400 120 批量删除目录 批量删除服务目录。 2400 120 移动当前目录至新目录 移动当前目录至新目录。
调用数据服务API 申请API授权 通过不同方式调用API 父主题: 数据服务
该接口用以执行指定脚本,支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL脚本。脚本每执行一次,生
查询数据服务集群访问日志列表 功能介绍 查询数据服务集群访问日志列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/{instance_id}/accesslog 表1 路径参数 参数 是否必选 参数类型
服务资源访问控制 配置队列权限 配置空间资源权限策略 父主题: 统一权限治理
层。 单工作空间允许创建的作业个数最多1万个,作业目录最多5000个,目录层级最多为10层。 RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL脚本执行结果页面展示最多1千条,且数据量少于3MB。超过1千条数据可以使用转储功能,转储最多支持1万条。
数据仓库服务(DWS)连接参数说明 连接数据仓库服务(DWS)时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 数据仓库服务(DWS)连接参数 参数名 说明 取值样例 名称 连接的名称,根
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
auth_duration: 70ms //鉴权耗时 befor_sql_duration: 402ms //执行SQL预处理耗时 sql_duration: 60001ms //SQL执行耗时 after_sql_duration:18ms //执行SQL后处理耗时 获取API信息 参考访问DataArts
源端为SQLServer,目的端为Hudi 该链路目前仅支持整库场景。 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 前提条件 已开启SQLServer库、表的CDC(change data capture,就是增量实时同步)能力,详情请参见如下示例。
描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 连接管理
Studio实例下具有创建10个专享版API免费试用额度,超出试用配额后会产生数据服务专享版API的费用,所创建的超出试用配额API按每天每个按1元收费。 图2 设置已分配配额 已分配配额设置完成后,单击“空间信息”中的“确定”,完成配置。 父主题: 数据服务
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
在DLI中创建一个Flink作业,作业名称为“test”。 图7 创建Flink SQL作业 编辑1中创建的Flink SQL作业,在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能: DIS通过工具上传实时数据至DLI,使用1中创建的“dis-alarm-input”通道。
描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 连接管理
Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hiv
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数