检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis { streams => ["YOUR_DIS_STREAM_NAME"]
ect文件所在的目录层次结构，将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件，选择“时间目录格式”精确到日，则数据转储成功后，在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关，则写到OBS的Object文件所在的
se/off。 参数为true/on，则导入时遇到非法字符进行容错处理，非法字符转换后入库，不报错，不中断导入。 参数为false/off，导入时遇到非法字符进行报错，中断导入。 须知： Windows平台下OBS若按照文本格式读取数据文件，遇到0x1A会作为EOF符号结束数据读
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方
此配置项仅支持选择，不可手动输入。 - HDFS路径 单击“选择”，在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择，不可手动输入。 配置此项必须已配置“MRS集群”。 转储文件目录 在MRS中存储通道文件的自定义目录，多级目录可用“/”进行分隔，不能以“/”开头。
conf.template文件列出了配置方法，本节介绍各种插件的配置项具体含义。 dis-flume-plugin.conf.template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供了样例配置文件，路径为{FLUME_HOME}/conf/flume-conf
所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。
端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data":
maxFileCheckingMillis 否 最长文件变动检查时间，如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化，则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “i
创建源数据Schema（导入文件方式） 找到创建源数据Schema入口后，按照如下方法创建源数据Schema： 单击“源数据Schema”后的“导入文件”。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。例如： 导入源数据样例时，仅支持导入“.txt”,“
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失
target_partition_count =”3” #变更后的数量值 配置好以上参数，执行changepartitionQuantity_sample.py文件调用changepartitionQuantity_test方法，响应结果如下： 1 2 3 4 5 { "stream_name":"stream_name_test"
getCursor(streamname, partitionId, cursorType='LATEST') 配置好以上参数，执行getCursor_sample.py文件调用getCursor_test方法，响应结果示例如下： 1 2 200 {"partition_cursor": "eyJnZXRJdG
String 导入非法字符容错参数。是将非法字符按照转换规则转换后入库，还是报错中止导入。 取值范围： true/on false/off 缺省值：false/off 枚举值： true/on false/off reject_limit 否 String 指定本次数据导入允许出现的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
