检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis
查询通道列表 功能介绍 本接口用户查询当前租户创建的所有通道。 查询时，需要指定从哪个通道开始返回通道列表和单次请求需要返回的最大数量。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述
cn-north-1 String region; // // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，或者使用交互方式式传参，确保安全； // 本示例以交互式方式。
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens 请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录，执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
准备环境 已安装python2.7或以上版本，配置好python环境变量。 已安装pycharm。 父主题： 使用SDK（Python）
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
数据保留时长，单位是小时。 stream_id String 通道唯一标识符。 data_type String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
根据stream_type选取方法，参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称，则删除通道下的该转储任务。 配置好以上参数后，执行delete_dump_task_sample
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数，执行changepartitionQuantity_sample
取值范围：24~72。 单位：小时。 空表示使用缺省值。 缺省值：24 data_type 否 String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下： # startSeq与AT_S
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数： streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例：value参数值设定与key对应
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
