检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM获取token的API DIS创建通道的API 前提条件 您需要规划数据接入服务所在的区域信息,并根据区域确定调用API的Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建通道
1552458085454 }, { "destination_type":"OBS", "task_name":"task_qTd9", "create_time":1552355757885
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
"agency_name":"dis_admin_agency", "file_prefix":"dli", "obs_bucket_path":"dis.test.not.delete", "deliver_time_interval":300
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
自动提交offset的周期(毫秒),默认值5000。 auto.offset.reset 参数 支持 同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值;
自动提交offset的周期(毫秒),默认值5000。 auto.offset.reset 参数 支持 同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值;
ProjectID 通道名称起始位置Streaming批次时间 如在华北-北京1测试,则参数示例为 https://dis.${region}.cloud.com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest 10
图解数据接入服务DIS
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口,您可以使用DIS的如API说明所示的功能。
异常信息 DIS服务端错误码
删除通道 通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题:
获取认证信息 获取AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”
调试通道 用户在创建通道成功后 ,可在界面进行简单的上传和下载操作,验证通道的可用性。 通道分区状态为ACTIVE(可用)时,同时支持上传和下载。 通道分区状态为DELETED(删除中)时,仅支持下载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。