检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径,请求参数,请求响应结果等。 当前数据服务日志仅支持专享版。 配置云日志基础服务 为了能够在云日志服务上面看到数据服务API的日志,需要配置云日志服务。关于云日志服务的详细配置和操作方法,请参见《云日志服务用户指南》。 在“云日志服务”界面创建日志组。 登录管理控制台。 在管
数据湖等各计算引擎和数据治理中心DataArts Studio平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 华为FusionInsight解决方案,对应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 TaurusDB、云数据库
导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题: 数据服务API
授权管理接口 查询API已授权的APP 查询APP已拥有授权的API 父主题: 数据服务API
workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。
服务资源访问控制 配置队列权限 配置空间资源权限策略 配置目录权限(高级特性) 配置下载权限(高级特性) 父主题: 统一权限治理
Hive的版本。 HIVE_3_X 用户名 登录FusionInsight Manager平台的用户名。 cdm 密码 FusionInsight Manager平台的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK)
数据格式 源端Kafka Topic中消息内容的格式,Migration当前支持对如下三种消息进行处理: JSON格式:支持对消息内容以JSON的层级格式进行解析。 CSV格式:支持对消息内容以CSV格式指定分隔符进行解析。 TEXT格式:将整条消息内容作为文本直接同步。 消费组ID
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签进入查看基线运行的所有消息通知信息,包含基线名称、通知类型和消息通知主题等。 图2 消息通知列表 选择“通知记录”页签进入查看基线运行的所有通知记录信息。 图3 基线运行记录 通知管理的详细信息请参见通知管理。
的调度信息。详情请参见实时作业监控:事件驱动调度节点调度配置。 11 清除通道消息 单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。 12 查看日志 对于Flink SQL和Flink JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多
您可创建并配置实时集成作业,将多种输入及输出数据源搭配组成同步链路,进行数据的实时同步。 前提条件 已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,详情请参见购买数据集成资源组。 已准备数据源,对应连接账号具备
同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。
度后第二天再自动开始调度。同时支持按离散小时进行调度周期配置,可以指定一天内的任意小时和分钟进行调度,离散小时调度仅支持自然周期调度。 天:支持在某天的某一时刻开始调度运行,调度周期为1天。 周:支持在一周中选择一天或多天的某一时刻开始调度运行。 月:支持在一月中选择一天或多天的
数据服务配置数据搬迁 当前管理中心支持直接搬迁数据服务组件中已发布的API数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据服务的导入导出功能进行搬迁。 约束限制 全量导出必须具备DAYU Administrator或Tenant Administrator权限。
ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔,默认是0,不发送请求。然而ClientAliveInterval 300表示五分钟发送一次,然后客户端响应,这样就保持长连接了。ClientAliveCountMax的默认值3。ClientAliveCountMax表示服务器发出请求
认证前准备 Java Go Python C# JavaScript PHP C++ C Android curl 其他编程语言 父主题: 数据服务SDK参考
API传参是否支持传递操作符? API传参不支持传递操作符。 API传参传递的只是参数,操作符是固定的,多个参数可使用in(${})方式。 父主题: 数据服务
il01、mail02和mail03,且表结构一致,数据内容不同。目的端为MRS Hive服务。 操作前提 已创建CDM集群。 已经开通了MRS Hive服务。 已经在MRS Hive服务中创建了数据库和表。 创建连接 登录DataArts Studio控制台,找到所需要的DataArts
搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务(DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS
IDEA中安装Go插件,如果未安装,请按照图1所示安装。 图1 安装Go插件 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行