检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方
Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-spark-streaming-demo”目录包含一个Maven工程样例。
数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4 父主题：
withBodyCompressEnabled(true) .withBodyCompressType(CompressionType.ZSTD) // 配置压缩算法，当前支持lz4和zstd，默认值为lz4 // 以下配置失败时的重试次数 .withProperty(DISConfig
端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data":
Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包，解压之后获得以下目录： “huaweicloud-dis-flink-connector-demo”目录包含一个Maven工程样例。
此配置项仅支持选择，不可手动输入。 - HDFS路径 单击“选择”，在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择，不可手动输入。 配置此项必须已配置“MRS集群”。 转储文件目录 在MRS中存储通道文件的自定义目录，多级目录可用“/”进行分隔，不能以“/”开头。
maxFileCheckingMillis 否 最长文件变动检查时间，如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化，则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “i
target_partition_count =”3” #变更后的数量值 配置好以上参数，执行changepartitionQuantity_sample.py文件调用changepartitionQuantity_test方法，响应结果如下： 1 2 3 4 5 { "stream_name":"stream_name_test"
ect文件所在的目录层次结构，将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件，选择“时间目录格式”精确到日，则数据转储成功后，在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关，则写到OBS的Object文件所在的
maxFileCheckingMillis 否 最长文件变动检查时间，如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化，则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “i
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
jre/ 将压缩包上传到“jre”目录下，执行如下命令解压JRE安装包。 tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。 执行vim /etc/profile命令，进入“profile”文件。 在“JAVA_HOME”配置项里添加JDK的安装目录，内容如下。
Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X.X.X.zip”压缩包。 unzip dis-agent-X.X.X.zip 进入“dis-agent-X.X.X”文件夹。 cd dis-agent-X.X.X Windows服务器上安装DIS
配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失
conf.template文件列出了配置方法，本节介绍各种插件的配置项具体含义。 dis-flume-plugin.conf.template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供了样例配置文件，路径为{FLUME_HOME}/conf/flume-conf
所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。
getCursor(streamname, partitionId, cursorType='LATEST') 配置好以上参数，执行getCursor_sample.py文件调用getCursor_test方法，响应结果示例如下： 1 2 200 {"partition_cursor": "eyJnZXRJdG
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
