检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
计费说明 计费项 DIS根据您的消息数量和使用分区时长计费。 表1 计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB是按多条消息计算,不足25KB时,按单条消息计算。 说明:
写入记录数/(5*1024KB) 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。
写入记录数/(5*1024KB) 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。
写入记录数/(5*1024KB) 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。
在云服务器详情页面中,单击“网卡”,打开相应的下拉菜单,查看弹性云服务器的子网名称。 在云服务器详情页面中,单击“虚拟私有云”的VPC名称/ID,进入“网络控制台”。 在“虚拟私有云”详情页面中单击“VPC名称/ID”对应的虚拟私有云名称,进入虚拟私有云详情页面。 在页面左侧选择“子网”,在子
例如:2018/03/19 14:09:52 GMT+08:00 状态 日志转储的状态。 已完成 失败 异常 读取记录数 从通道内读取的用户记录数。 写入记录数 写入目标服务(如MRS)的记录数,例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。
该分区的总输入/输出记录数(个/秒) 用户指定时间范围内,指定分区的输入/输出记录数。单位:个/秒。 通道监控 总输入/输出流量(KB/秒) 用户指定时间范围内,指定通道的输入/输出流量。单位:KB/s。 总输入/输出记录数(个/秒) 用户指定时间范围内,指定通道的输入/输出记录数。单位:个/秒。
量(Byte) total_put_records_per_partition:分区总输入记录数(个) total_get_records_per_partition:分区总输出记录数(个) 枚举值: total_put_bytes_per_partition total_get
数据源文件中的字段比外表定义列数多时,是否忽略多出的列。该参数只在数据导入过程中使用。 取值范围:true/on,false/off。缺省值为false/off。 参数为true/on,若数据源文件比外表定义列数多,则忽略行尾多出来的列。 参数为false/off,若数据源文件比外表定义列数多,会显示如下错误信息。
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
eam:总输出流量(Byte) total_put_records_per_stream:总输入记录数(个) total_get_records_per_stream:总输出记录数(个) total_put_req_latency:上传请求平均处理时间(毫秒) total_get
毫秒)。 retries 参数 支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
毫秒)。 retries 参数 支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
auto_scale_min_partition_count Integer 当自动扩缩容启用时,自动缩容的最小分片数。 auto_scale_max_partition_count Integer 当自动扩缩容启用时,自动扩容的最大分片数。 表5 PartitionResult 参数 参数类型 描述 status String
on_count 否 Long 当自动扩缩容启用时,自动缩容的最小分片数。 最小值:1 auto_scale_max_partition_count 否 Integer 当自动扩缩容启用时,自动扩容的最大分片数。 data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro
on_count Integer 当自动扩缩容启用时,自动缩容的最小分片数。 最小值:1 auto_scale_max_partition_count Integer 当自动扩缩容启用时,自动扩容的最大分片数。 tags Array of Tag objects 通道标签列表。 sys_tags
ion_count 否 Long 当自动扩缩容启用时,自动缩容的最小分片数。 最小值:1 auto_scale_max_partition_count 否 Long 当自动扩缩容启用时,自动扩容的最大分片数。 响应参数 无 请求示例 更新通道生命周期 PUT https://{E