检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
数组格式。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
删除转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称，则删除通道下的该转储任务。 配置好以上参数后，执行delete_dump_task_sample
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数，执行changep
创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法，参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE”
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下： # startSeq与AT_S
删除通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname = "" #已存在的通道名称 配置好以上参数后，执行deleteStream_sample.py文件默认调用deleteStream_test方法，获取响应204删除成功。
查询APP详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 appname=”app1” #查询的APP名称 配置好以上参数，执行describeApp_sample.py文件调用describeApp_test方法。 响应结果如下：
删除APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 appName = "" #待删除的APP名称 配置好以上参数，执行deleteApp_sample.py文件调用deleteApp_test方法，响应204表示删除成功。 父主题：
创建APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 appName = "" #创建的APP名称 配置好以上参数，执行createApp_sample.py文件调用createApp_test方法，响应201表示创建成功。 父主题： 使用SDK（Python）
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数： streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例：value参数值设定与key对应
源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000"
查询通道详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1" #已存在的通道名 配置好以上参数后，执行describeStream_sample.py文件默认调用describeStream_test方法。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
