检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
type 是 Source的类型。 com.cloud.dis.adapter.flume.source.DISSource streams 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。
在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。
单击企业项目的名称，可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看通道的企业项目 同时，在企业管理的控制台中，查询指定项目中的资源列表时，也可以查询到DIS服务的资源。 按企业项目搜索通道 登录DIS管理控制台，单击“通道管理”，在通道列表上方单击“所有项
dws_table_columns 否 String 指定要转储到DWS表中的列，为null或者为空则默认全列。比如“c1,c2”表示将Schema中c1和c2这两列转储到DWS。 默认为空。 options 否 Options object DWS容错性选项（用于指定外表数据的各类参数）。 表5 Options
dis-logstash-plugins-X.X.X.zip 进入安装包解压后的目录。 cd logstash-plugins 运行安装程序，需要指定Logstash的安装目录。 bash install.sh –p ${LOGSTASH_HOME} 安装完成后，显示类似如下内容，表示安装成功。
AT_TIMESTAMP 指定一个时间戳，会从此时间戳上传的数据开始读取，要求在获取游标的时候，有一个明确的13位时间戳。 (例如指定1541742263206，表示读取从2018-11-09 13:44:23开始上传的数据) 适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景
点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道
源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时，需要指定转储任务名称，同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 - 数据转储地址 存储
获取项目ID 介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，
ST表示从最旧的数据开始读取；如果要指定每个分区的精确起始位置，则可以写为json字符串，例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23，第1分区从最新数据的位置开始，第2分区从最老数据的位置开始，如果有分区没有指定位置，则默认从最新数据位置开始。 D
删除app时，当前app在使用中 请确认app是否在使用中，如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时，使用的IAM委托无效
dws_table_columns String 指定要转储到DWS表中的列，为null或者为空则默认全列。比如“c1,c2”表示将Schema中c1和c2这两列转储到DWS。 默认为空。 options Options object DWS容错性选项（用于指定外表数据的各类参数）。 表8 Options
同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时，您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息，请参阅地区和终端节点。
删除app时，当前app在使用中 请确认app是否在使用中，如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时，使用的IAM委托无效
64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：- 委托类型：云服务- 云服务：DIS- 持续时间：永久- “所属区域”为“全局服务”，“项目”为“对象存
64个字符。 agency_name 是 String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：- 委托类型：云服务- 云服务：DIS- 持续时间：永久- “所属区域”为“全局服务”，“项目”为“对象存
\"type\":\"string\"}]}" } 这个示例中创建了一个源数据类型为JSON，且数据包含“key1”、“key2”这两个属性的通道。 data_type：指定源数据的类型，“JSON”表示分区中的数据格式为JSON格式。 data_schema：源数据Schema，用于描述JSON、CSV格式的源数据结构，采用Avro
// 消费组标识，同一个消费组下的不同客户端可以同时消费同一个通道 String groupId; 断点消费必须指定checkpoint或者按照如下设置自动打上消费点 。 disConfig.put(DisConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG
StringSerializer.class.getName()); // 默认情况下不需要设置endpoint，会自动使用域名访问；如需使用指定的endpoint，解除如下注释并设置endpoint即可 // props.setProperty(DISConfig.PROPERTY_ENDPOINT
StringSerializer.class.getName()); // 默认情况下不需要设置endpoint，会自动使用域名访问；如需使用指定的endpoint，解除如下注释并设置endpoint即可 // props.setProperty(DISConfig.PROPERTY_ENDPOINT
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
