检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30
yy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号 ",",默认值 分号 ";" 竖线 "|" 换行符
介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM) 统一
操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件
DIS.4357 Exceeded transfer task quota. 单个通道仅允许同时存在5个转储任务,再创建新的转储任务会超出配额限制 请删除废弃的转储任务释放配额。 400 DIS.4360 Invalid data schema. 创建通道或更新通道时,传入的data_schema无效
集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前,请确保已经充分了解数据接入服务相关概念,详细信息请参见“产品介绍”。
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFi
新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。
使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink Connector上传与下载数据
y/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter 否 String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号 ",",默认值 分号 ";" 竖线 "|" 换行符
Record 参数 参数类型 描述 partition_key String 用户上传数据时设置的partition_key。说明:上传数据时,如果传了partition_key参数,则下载数据时可返回此参数。如果上传数据时,未传partition_key参数,而是传入partition_
用户指定时间范围内,指定通道的输入/输出记录数。单位:个/秒。 上传/下载请求成功次数(个/秒) 用户指定时间范围内,指定通道的上传/下载请求成功次数。单位:个/秒。 因流控拒绝的上传/下载请求次数(个/秒) 用户指定时间范围内,指定通道因流控拒绝的上传/下载请求次数。单位:个/秒。 上传/下载请求平均处理时间(毫秒/个)
计费示例 假设用户A的上传流量为5MB/s,单条记录大小为2KB,创建5个普通分区,采用按需计费。这种情况下每小时收费如下; 分区时间费用 分区时间0.1元/小时,5个分区需要:0.1 * 5 = 0.5元。 消息数量费用 上传消息数量0.1元/百万条,每小时上传消息数量为:5MB/s
Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DLI)分析上传的日志数据,获取驾驶员的驾驶行为,以支持车企提供驾驶习惯优化等增值服务。
初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint
使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30
录数(个) total_put_req_latency:上传请求平均处理时间(毫秒) total_get_req_latency:下载请求平均处理时间(毫秒) total_put_req_suc_per_stream:上传请求成功次数(个) total_get_req_suc_p
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)