检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京四”区域的Token,则需使用“华北-北京四”区域的Endpoint(iam.cn-north-4.myhuaweicloud
DIS对于从数据生产者快速移出数据,然后进行持续处理非常有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
进行弹性伸缩分区后,有如下注意事项: 上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStrea
egion都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口,您可以使用DIS的如API说明所示的功能。
用户的开发环境中。 步骤3:发送数据到DIS 基于数据上传业务开发应用程序,并运行程序,实现数据上传功能。数据上传过程中可在Console控制台查看数据上传通道相关信息。 步骤4:从DIS获取数据 基于数据下载业务开发应用程序,并运行程序,实现数据下载功能。 父主题: 入门
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
否:false。 retention_period Integer 数据保留时长,单位是小时。 stream_id String 通道唯一标识符。 data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础
setCheckpointType(CheckpointTypeEnum.LAST_READ.name()); 配置“CommitCheckpointRequest”对象之后,通过调用 commitCheckpoint 提交checkpoint。 dic.commitCheckpoint(commitCheckpointRequest);
the partition iterator again. 获取数据时,传入的数据游标partition-cursor对应的序列号starting-sequence-number过期 请获取获取数据游标,并用新游标获取数据。 400 DIS.4300 Request error. 请求体错误
Explorer 9.0。 用户使用接入通道上传数据的时候,如果数据涉及敏感信息,请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时,普通通道单分区单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小),高级通道单分区单次请求的记录总
BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_duration
data_duration 否 Integer 数据保留时长。 取值范围:24~72。 单位:小时。 空表示使用缺省值。 缺省值:24 data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字
配额说明 创建通道应用的基础设施如下: 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下: 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:24~72的整数。单位:小时。 创建时间:显示通道创建的时间。格式为:yyyy/MM/dd HH:mm:ss
删除通道 通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题:
获取认证信息 获取AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”
用其他API。 图1 获取用户Token响应消息头 响应消息体(可选) 该部分可选。响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 对于获取用户Token接口,返回如下消息体。为篇幅起见,这里只展示部分内容。