检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Timestamp类型表示通道内用户数据对应JSON属性的取值为Timestamp类型,不需要进行数据格式转换就可以生成OpenTSDB的timestamp。- String类型表示通道内用户数据对应JSON属性的取值为Date格式,需要进行数据格式转换才能生成OpenTSDB的timestamp。 value
shardId-0000000001, shardId-0000000002 sequence_number 是 String 需要提交的序列号,用来记录该通道的消费检查点,需要保证该序列号处于有效范围内。 metadata 否 String 用户消费程序端的元数据信息。 元数据信息的最大长度为1000个字符。
rtitionKey数据大小) 目前每个租户默认Partition配额范围为1~50个,租户可以根据需要配置Partition个数。 若需扩大配额,请提交工单增加配额,具体上限需要根据集群的实际负载情况进行计算。 父主题: 一般性问题
String 需要上传的数据。 上传的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如需要上传字符串“data”,“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值
转储至DWS 源数据类型JSON/CSV 表1 转储相关配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - DWS集群 存储该通道数据的DWS集群名称。
"https://www.example.com/v3/projects" } } 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号,所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“基本信息”。 在基本信息页面单击“管理我的凭证”。
通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题: 管理通道
请根据实际情况配置 client_id 否 客户端ID,用于标识消费组内的消费者。 起多个pipeline或者多个Logstash实例消费时,需要配置不同的值。比如实例1的值为client1,实例2的值为client2。 logstash endpoint 是 DIS对应Region的数据接口地址。
任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“
任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要变更分区数量的通道名称。 最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
withProperty(DISConfig.PROPERTY_PRODUCER_EXCEPTION_RETRIES, "-1") .build(); 若需要使用代理,请使用如下方法初始化DIS客户端: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
完成创建。 查看App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称,进入所选通道的管理页面。 单击“Apps”,可查看到接入该通道的所有App。 可查看接入该通道的App名称,ID和创建时间。
sha256sum”与上一步骤中获取的校验码进行对比。 一致,说明从获取的DIS SDK压缩包没被篡改。 不一致,说明DIS SDK压缩包被篡改,需要重新获取。 父主题: 相关资源
protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
constantly resent. 该文件已经收到了 文件已经收到不需要再上传。 400 DIS.4220 The block whose sequence number is %s needs to be resent. 文件块需要重新上传 请按照指示上传对应的块。 400 DIS.4221
对应请求消息头,响应同样也有消息头,如“Content-type”。 对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选)
默认值:10。 exclusiveStartStreamName string 从该通道开始返回通道列表,返回的通道列表不包括此通道名称。 如果需要分页查询,第一页查询时不传该字段。返回结果has_more_streams为true时,进行下一页查询,exclusiveStartStr
任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“
String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 partition-cursor 是 String 数据游标,需要先通过获取数据游标的接口获取。 取值范围:1~512个字符。 说明: 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer