检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录,执行如下命令,获取DIS SDK压缩包的校验码。 sha256sum huaweicloud-sdk-dis-x
在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin
配额说明 创建通道应用的基础设施如下: 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下: 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。 $ bin/jruby -v 检查DIS通道
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在“我的凭证 > API凭证”页面查看不同Region对应的项目ID值。 获取DIS Flume Plugin包 这里获取“dis-flume-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS
Source正常启动,其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据,如果flume没有报错且sink端能正常获取到数据,表示下载正常。 如果使用步骤 2中示例的配置,则从DIS获取的数据会输出到控制台上,其内容显示为字节数组格式。
分为Source与Sink插件,安装包中的dis-flume-plugin.conf.template文件列出了配置方法,本节介绍各种插件的配置项具体含义。 dis-flume-plugin.conf.template只是一个dis插件的配置样例,并不是实际运行Flume时会读取的配置文件。Flum
ms Agent运行异常,常见问题原因和处理方法如下: HttpClientErrorException: 400 Bad Request 可能原因:配置DIS Agent中“DISStream”或“projectId”的配置不正确。 处理方法:停止Agent进程后检查配置。 Htt
'AT_SEQUENCE_NUMBER' 获取游标getCursor_test采用test_0方法,下载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行pr
Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 获取DIS Agent包 这里获取“dis-agent-X.X.X.zip”压缩包。 父主题: 使用Agent上传数据
创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法,参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE”
查询指定通道的标签信息 功能介绍 该接口用于查询指定通道的标签信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/{stream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 listApp_test 方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。 配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。)
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
删除指定通道的标签 功能介绍 该接口用于删除指定通道的标签。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/stream/{stream_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK删除指定的转储任务。 1 2 3 4 5 6 7 DeleteTransferTaskRequest request = new DeleteTransferTaskRequest();