检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。
数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。
无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。
变更源数据类型 源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录
≥ 0 bytes/s 通道 1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。
auto_scale_min_partition_count:当自动扩缩容启用时,自动缩容的最小分片数,比如这个示例中当分区数量为2时,不会再触发自动缩容。
数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。
分区数:分区(Partition)是DIS数据通道的基本吞吐量单位。创建数据通道时,您将指定所需的分区数量。 记录:记录(Record)是存储在DIS通道中的数据单元。记录由序列号、分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。
关键能力 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松的将数据放入通道中,并构建用于数据处理的应用程序。
总输入/输出记录数(个/秒) 用户指定时间范围内,指定通道的输入/输出记录数。单位:个/秒。 上传/下载请求成功次数(个/秒) 用户指定时间范围内,指定通道的上传/下载请求成功次数。单位:个/秒。
个) total_get_records_per_stream:总输出记录数(个) total_put_req_latency:上传请求平均处理时间(毫秒) total_get_req_latency:下载请求平均处理时间(毫秒) total_put_req_suc_per_stream
例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。 复杂的数据通道处理:您可以创建DIS应用程序和数据通道的Directed Acyclic Graphs(DAG)。
label_list为准) total_put_bytes_per_partition:分区总输入流量(Byte) total_get_bytes_per_partition:分区总输出流量(Byte) total_put_records_per_partition:分区总输入记录数(
已完成 失败 异常 读取记录数 从通道内读取的用户记录数。 写入记录数 写入目标服务(如MRS)的记录数,例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。
ignore_extra_data 数据源文件中的字段比外表定义列数多时,是否忽略多出的列。该参数只在数据导入过程中使用。 取值范围:true/on,false/off。缺省值为false/off。 参数为true/on,若数据源文件比外表定义列数多,则忽略行尾多出来的列。
说明: 所需分区计算公式: 按流量计算所需写分区数:(所得数值需向上取整后作为分区数) 普通通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(1*1024KB) 高级通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(5*1024KB) 按消费程序数量计算读分区数
当上一分钟通道触发流控后、且通道上传流量达到4MB/秒以上时,触发自动扩容操作,目标分区数为5/0.6=8.3,向上取整后为9。 当通道上传流量和下载流量均小于30%时,触发自动缩容操作,缩容目标分区数=分区数/2,向下取整。
auto_scale_min_partition_count Integer 当自动扩缩容启用时,自动缩容的最小分片数。 auto_scale_max_partition_count Integer 当自动扩缩容启用时,自动扩容的最大分片数。
说明: 所需分区计算公式: 按流量计算所需写分区数:(所得数值需向上取整后作为分区数) 普通通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(1*1024KB) 高级通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(5*1024KB) 按消费程序数量计算读分区数
说明: 所需分区计算公式: 按流量计算所需写分区数:(所得数值需向上取整后作为分区数) 普通通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(1*1024KB) 高级通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(5*1024KB) 按消费程序数量计算读分区数