检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PutRecordsResult putRecordsResult = null; try { putRecordsResult = dic.putRecords(putRecordsRequest);
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
-ef | grep dis-agent | grep -v grep命令,获取Agent的进程标识(PID)。输出的第二个字段即为PID。 执行kill -9 PID命令,强制停止Agent进程。 在Windows服务器上停止DIS Agent 在控制台窗口按“Ctrl+C”键,提示如下内容。
信息,表示已经上传完成。 Agent: Progress: [0 records (0 bytes) / 10 files (32573229 bytes)] parsed, and [0 records / 10 files] sent successfully to destinations
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
SendRecordsRequest request = new SendRecordsRequest(); PutRecordsRequest body = new PutRecordsRequest(); List<PutRecordsRequestEntry>
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
自定义Flink Streaming作业 获取DIS Flink Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包,解压之后获得以下目录: “hua
action_type 是 String 授权操作类型。 putRecords:上传数据。 getRecords:下载数据。 getStreamInfo:通道详情。 枚举值: putRecords getRecords getStreamInfo effect 是 String 授权影响类型。
x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程,则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。 bash bin/start-dis-agent.sh -c config/anotherAgent
请求示例 下载数据 GET https://{Endpoint}/v2/{project_id}/records 响应示例 状态码: 200 正常返回 { "records" : [ { "partition_key" : "0", "sequence_number"
obuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
PutRecordsRequest putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamName(streamName); List<PutRecordsRequestEntry>
当程序从异常停止恢复时重传部分数据。 1 sendingRecordSize 否 单次调用DIS数据发送接口时的数据集大小。 说明: “batchSize”表示一个事务的批量值(如1000),而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次
载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
partitionId, cursor); GetRecordsRequest recordsRequest = new GetRecordsRequest(); GetRecordsResult recordResponse = null; while
处理方法:停止Agent进程后检查配置。 HttpClientErrorException: 403 Forbidden 可能原因:DIS网关将服务器IP加入黑名单,导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法:停止Agent进程,修改配置DIS