检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
SparkStreaming上传与下载数据 管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS 常见问题 了解更多常见问题、案例和解决方案 热门案例 什么是DIS? 什么是分区? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? DIS如何发送和接收数据 ?
状态码 状态码是每次API请求响应的HTTPS状态码,表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
用户传入的partition_id无效 请检查partition_id是否无效。 400 DIS.4202 Empty request. 用户的请求为空 请传入有效的请求。 400 DIS.4203 Invalid monitoring period. 查询监控信息的startTime无效 请传入有效的时间戳。
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 获取DIS Logstash Plugin包 https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/获取“dis-logstash-Plugin-X
用户传入的partition_id无效 请检查partition_id是否无效。 400 DIS.4202 Empty request. 用户的请求为空 请传入有效的请求。 400 DIS.4203 Invalid monitoring period. %s 查询监控信息的startTime无效 请传入有效的时间戳。
timestamp_type String 时间戳类型。 CreateTime:创建时间。 缺省值:CreateTime 请求示例 下载数据 GET https://{Endpoint}/v2/{project_id}/records 响应示例 状态码: 200 正常返回 { "records"
用户消费程序端的元数据信息。 元数据信息的最大长度为1000个字符。 最大长度:1000 响应参数 无 请求示例 提交Checkpoint POST https://{Endpoint}/v2/{project_id}/checkpoints { "stream_name" : "newstream"
应用名称由字母、数字、下划线和中划线组成,长度为1~200个字符。 最小长度:1 最大长度:200 响应参数 无 请求示例 创建消费App POST https://{Endpoint}/v2/{project_id}/apps { "app_name" : "newapp" } 响应示例
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 无 请求示例 删除指定通道 DELETE https://{Endpoint}/v2/{project_id}/streams/{stream_name} 响应示例 无 SDK代码示例 SDK代码示例如下。
commit_checkpoint_stream_names Array of strings 关联通道列表。 请求示例 查询App详情 GET https://{Endpoint}/v2/{project_id}/apps/{app_name} 响应示例 状态码: 200 正常返回 {
标签值列表。 如果values为空列表,则表示any_value。value之间为或的关系。 请求示例 查询指定区域所有标签集合。 GET https://{Endpoint}/v2/{project_id}/stream/tags 响应示例 状态码: 200 标签集合响应体。 {
序列号,用来记录该通道的消费检查点。 metadata String 用户消费程序端的元数据信息。 请求示例 查询Checkpoint详情 GET https://{Endpoint}/v2/{project_id}/checkpoints 响应示例 状态码: 200 正常返回 { "sequence_number"
参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。 请求示例 查询通道监控数据 GET https://{Endpoint}/v2/{project_id}/streams/{stream_name}/metrics 响应示例 无 SDK代码示例
转储任务创建时间。 last_transfer_timestamp Long 转储任务最近一次转储时间。 请求示例 查询转储任务列表 GET https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks 响应示例
effect String 授权影响类型。 accept:允许该授权操作。 枚举值: accept 请求示例 查询权限策略列表 GET https://{Endpoint}/v2/{project_id}/streams/{stream_name}/policies 响应示例 状态码: