检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
append方法传入records中。 配置好以上参数后,执行putRecords_sample.py文件调用putRecords_test方法,响应结果如下: 1 2 200 {'failed_record_count': 0, 'records': [{'partition_id':
stream_type:通道类型,“COMMON”表示普通分区,单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration:通道生命周期,即通道分区中数据的保留时长。 请求响应成功后,返回201 Created,表示通道创建成功。 若请求失败,则会返回错误码
根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。
DIS有哪些特点和优势? DIS有哪些模块及各模块功能? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? 如何校验软件包完整性? DIS如何发送和接收数据? 什么是流控? DIS对接EPS鉴权后,进入通道列表页面看不见之前创建的通道?
monitoring period. 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400
AUTO_OFFSET_RESET_CONFIG, "LATEST"); //LATEST 表示从最新的数据开始消费 。 如果都不设置 默认的是从lastest开始消费。 最终IDEA的配置如下图所示,确认无误后单击“OK”关闭此窗口。 在DISFlinkStreamingSourceJav
向input指向的通道上传数据,如果Logstash没有报错且output端能正常获取到数据,表示下载正常。 登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Logstash Input运行成功。 验证DIS Logstash
删除指定通道的标签 功能介绍 该接口用于删除指定通道的标签。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/stream/{stream_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
TooManyRequests 表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取相应的Retry-After首部,然后等待该首部指出的时间后再重试。 441 Authentication Error 鉴权失败。 500 InternalServerError 表明服务端
在现有通道列表页,按标签键或标签值搜索目标通道。 登录管理控制台。 选择“EI企业智能 > 数据接入服务”。 单击现有通道列表右上角的“标签搜索”,展开查询页。 输入待查询通道的标签。 标签键或标签值可以通过下拉列表中选择,当标签键或标签值全匹配时,系统可以自动查询到目标通道。当
Spark Streaming依赖: <dependency> <groupId>com.cloud.dis</groupId> <artifactId>cloud-dis-spark-streaming_2.11</artifactId> <version>1
√ x 查询通道列表 √ √ √ 查询通道详情 √ √ √ 查询通道监控信息 √ √ √ 查询分区监控信息 √ √ √ 获取通道消费信息 √ √ √ 变更分区数量 √ √ x 上传数据 √ x √ 获取数据游标 √ x √ 下载数据 √ x √ 创建APP √ √ √ 查询APP详情
Flink Connector依赖: <dependency> <groupId>com.cloud.dis</groupId> <artifactId>cloud-dis-flink-connector_2.11</artifactId> <version>1
descriptor.setTransferTaskName(taskName); // 配置DLI相关信息:数据库和内表名称。可通过数据湖探索(简称DLI)控制台创建和查询,DLI表需为内表 descriptor.setDliDatabaseName("dis_dli"); descriptor
载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
PutRecordsRequest putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamName(streamName); List<PutRecordsRequestEntry>