检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
参数 支持 含义与kafka设置相同，但默认值为50(kafka是0)，目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同，但默认值为1MB(kafka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示： agent.sources =
配置项 是否必填 说明 默认值 stream 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
8及以上版本。 单击“Finish”退出“Add Library”对话框。 单击“Apply and Close”完成JDK添加。 初始化DIS客户端实例。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 父主题： 入门
8及以上版本。 单击“Finish”退出“Add Library”对话框。 单击“Apply and Close”完成JDK添加。 初始化DIS客户端实例。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
m，则将下面的CustomFileStream与另外的DISStream模块删除或者注释）。 Linux服务器上配置DIS Agent 使用PuTTY 工具登录日志所在服务器。 执行cd /opt/dis-agent-X.X.X/命令，进入“dis-agent-X.X.X”文件夹。
dws_cluster_name 是 String 存储该通道数据的DWS集群名称。 dws_cluster_id 是 String 存储该通道数据的DWS集群ID。 dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。
消费者会发起joinGroup的请求，通知服务端自己要加入消费组，服务端收到客户端的join请求之后，会将消费组重新分配，此时返回一个syncDelayedTimeMs，告诉客户端分配需要多久完成，客户端可以等待syncDelayedTimeMs之后，再发起同步请求(SyncGroup)获取分配结果
消费者会发起joinGroup的请求，通知服务端自己要加入消费组，服务端收到客户端的join请求之后，会将消费组重新分配，此时返回一个syncDelayedTimeMs，告诉客户端分配需要多久完成，客户端可以等待syncDelayedTimeMs之后，再发起同步请求(SyncGroup)获取分配结果
了解更多常见问题、案例和解决方案 热门案例 什么是DIS？ 什么是分区？ 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别？ DIS如何发送和接收数据 ？ 更多 转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 云服务器卡顿 应用容器化改造介绍
Streaming Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
是否必填 说明 默认值 channels 是 Flume channel的名称。 请根据实际情况配置 type 是 Source的类型。 com.cloud.dis.adapter.flume.source.DISSource streams 是 指定在DIS服务上创建的通道名称。
管理企业项目 企业项目是一种云资源管理方式。企业管理（Enterprise Management）提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台上独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部
yml配置文件说明 配置项 是否必填 说明 默认值 region 是 DIS服务所在区域。 获取方式请参见获取认证信息。 cn-north-1 ak 是 用户的Access Key。 获取方式请参见获取认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见获取认证信息。
project_id 是 String 项目ID。 stream_name 是 String 已创建的通道的名称。 task_name 是 String 待删除的转储任务名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
DIS对于从数据生产者快速移出数据，然后进行持续处理非常有用。以下是使用DIS的典型场景： 加速日志和数据传送获取：您无需等待批量处理数据，而是让数据生产者在生成数据后立即输入DIS数据通道，防止因数据生产者出现故障导致的数据损失。例如，系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
ts 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获
是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 stream_name 是 String 该Checkpoint所属的通道名称。 partition_id 是 String 该Checkpoint所属的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
