检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式
(推荐)通过SDK调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。而APP认证方式的API使用SDK调用方式,支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言,可帮助您简单、快速地通过数据API获取到开放数据。
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postma
配置API调用流控策略 操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略,能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务,您需
查询API列表 功能介绍 查询API列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取当前目录下的API列表 功能介绍 获取当前目录下的API列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/apis 表1 路径参数 参数 是否必选 参数类型 描述
h:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明。 datastore Datastore object 集群信息,请参见datastore参数说明。 dbuser
开启数据服务集群LTS日志转储 功能介绍 开启数据服务集群LTS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/lts-log-dump 表1 路径参数 参数 是否必选
查询统计用户相关的总览调用指标 功能介绍 查询统计用户相关的总览调用指标。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id
究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时,源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式:
访问标识(AK) 是 “数据集成”参数开启时并且“OBS支持”设置为“是”、使用委托为否时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
配置数据入湖检测规则(高级特性) 数据入湖检测规则可用于如下场景的实时敏感信息检测: 数据集成(离线作业)进行表数据迁移时的“敏感数据检测”,详见配置离线处理集成作业。 数据开发导入数据文件时的敏感数据自动实时检测。 数据安全敏感数据发现中的文件敏感数据实时检测,详见检测文件敏感数据(高级特性)。
配置DataArts Studio资源迁移 当您需要将一个工作空间中的资源迁移至另一个工作空间,可使用数据治理中心DataArts Studio的资源迁移功能,对资源进行导入导出。 资源导入可以基于OBS服务,也支持从本地导入。支持迁移的资源包含如下业务数据: 管理中心组件中创建的数据连接。
查询API信息 功能介绍 查询API信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
information”,如何处理? 使用python调用执行脚本的api报错:The request parameter invalid,如何处理? 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? DataArts Studio调度CDM任务时报错Given transaction
获取申请详情 功能介绍 获取申请详情。此功能仅用作信息详情展示,不用做业务处理,因此不展示编号等后台参数。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型
API授权操作(授权/取消授权/申请/续约) 功能介绍 API主动授权: API审核人可发起,API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。
数据服务简介 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理,帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、
符避免任务失败。 源数据库如果开启客户端配置中的“强制协议加密(Force Protocol Encrypton)”,必须同时开启“信任服务器证书(trust server certificate)”,如下图所示: 图2 查看客户端属性 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。