检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createStreamRequest.setDataDuration(24); // 通道的源数据类型:缺省值:BLOB createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后
commitCheckpointRequest.setPartitionId("0"); // Checkpoint类型 commitCheckpointRequest.setCheckpointType(CheckpointTypeEnum.LAST_READ.name()); 配置“CommitCheckpointRequest”对象之后
', 'obs_destination_description': {'obs_bucket_path': '002', 'deliver_time_interval': 30, 'retry_duration': 0, 'agency_name': 'all', 'partition_format
_3 # filePattern: /opt/*.log # initialPosition: START_OF_FILE # ## bucket name # OBSBucket: YOU_OBS_BUCKET_NAME # ## OBS endpoint
- 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。
total_number': 1, 'tasks': [{'last_transfer_timestamp': 1538018769241, 'state': 'RUNNING', 'create_time': 1537949648144, 'destination_type': 'OBS
DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向 父主题: 一般性问题
DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向
OBS:转储到OBS。 MRS:转储到MRS。 DLI:转储到DLI。 CLOUDTABLE:转储到CloudTable。 DWS:转储到DWS。 枚举值: OBS MRS DLI CLOUDTABLE DWS create_time Long 转储任务创建时间。
400 DIS.4310 OBS access error. 访问OBS失败 请检查用户是否有访问OBS的权限。 400 DIS.4319 Partition is expired.
表1 DIS的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) dis01_stream_put_bytes_rate 总输入流量 该指标用于统计指定时间范围内,通道上传数据量。 单位:byte/s。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。
配额说明 创建通道应用的基础设施如下: 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下: 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习
表3 请求Body参数 参数 是否必选 参数类型 描述 tag 是 Tag object 标签对象。 表4 Tag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。
DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获