检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框，单击，修改源数据Schema。
操作步骤 使用注册账户登录弹性云服务控制台，进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器，查看云服务器详情。 在云服务器详情页面中，单击“网卡”，打开相应的下拉菜单，查看弹性云服务器的子网名称。
此配置项可设置每条记录的PartitionKey值，取值如下： RANDOM_INT：PartitionKey的值为随机数字的字符串，记录均匀分布在每个分区。 FILE_NAME：PartitionKey的值为文件名称字符串，记录分布在特定的一个分区中。
根据实际情况更改“AK”、“SK”和“ProjectId”的值。
使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 参考步骤1：开通DIS通道申请开通DIS通道，并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello world。
单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。
最小值：1 最大值：100 缺省值：10 start_stream_name 否 String 从该通道开始返回通道列表，返回的通道列表不包括此通道名称。如果需要分页查询，第一页查询时不传该字段。
此值用于没有初始偏移量或者偏移量不正确的情况下，自动设置offset位置： earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量，就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题： 使用
此值用于没有初始偏移量或者偏移量不正确的情况下，自动设置offset位置： earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量，就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题： 使用
缺省值：BLOB。 枚举值： BLOB JSON CSV data_duration 否 Integer 数据保留时长。 取值范围：24~72。 单位：小时。 空表示使用缺省值。 缺省值：24 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。
单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
PER NODE REJECT LIMIT 'value' 指定本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量，如果有一个DN实例上的错误数量大于设定值，本次导入失败，报错退出。 取值范围：整型值，unlimited（无限），缺省值为0，有错误信息立即返回。
单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。 logstash endpoint 是 DIS对应Region的数据接口地址。
单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
最小值是1，最大值是1000；默认值是100。 最小值：1 最大值：1000 缺省值：100 start_partition_id 否 String 从该分区值开始返回分区列表，返回的分区列表不包括此分区。
有效值与级别由低到高为 OFF < DEBUG < INFO < WARN < ERROR。 OFF：不输出日志。 如果Flume log4j配置的日志级别高于resultLogLevel配置的的值，则日志也不会输出。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
