检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
setUserPassword(System.getenv("DB_PASSWORD")); //DIS调用KMS服务加密存储DWS的密码，保证用户数据安全：用户可通过数据加密服务(简称KMS)控制台的"密钥管理"创建和查询KMS密钥信息 descriptor.setKmsUserKeyName("qiyinshan");
图1 项目隔离模型 Checkpoint 消费检查点。应用程序消费数据时，记录已消费数据的最新序列号作为检查点。当重新消费数据时，可根据此检查点继续消费。 APP 应用程序标识符。当多个应用程序分别消费同一通道的数据时，为区分不同应用程序的消费检查点，使用APP作为标识。 父主题：
withDataEncryptEnabled(true) .withProperty("data.password", "xxx") //xxx替换为用户配置的数据加密密钥 // 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES
Flume Plugin安装在“${FLUME_HOME}/plugin.d/dis-flume-plugin”目录下，安装完成后，显示类似如下内容，表示安装成功。 Install dis-flume-plugin successfully. 父主题： 使用DIS Flume Plugin上传与下载数据
${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin install logstash-input-dis 安装完成后，显示类似如下内容，表示安装成功。 Validating logstash-input-dis Installing logstash-input-dis Installation
查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes)
根据用户配置的时间，周期性的将数据导入OBS，若某个时间段内无数据，则此时间段不会生成打包文件。 单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
创建DWS转储任务时，传入的DWS集群不存在 请检查DWS集群是否存在，运行是否正常。 400 DIS.4351 Invalid KMS userKey. 创建DWS转储任务时，传入的KMS密钥信息无效 请检查KMS密钥是否存在。 400 DIS.4354 The transfer task does not exist
打开Eclipse工具，选择“Window > Preferences”，弹出“Preferences”窗口。 在左侧菜单栏单击“Java”，显示如图1所示内容，选择相关配置，单击“OK”。 图1 Preferences 在左侧菜单栏选择“Java > Installed JREs”配置JDK环境变量，显示如图2所示。
deletePolicy 否 文件内容上传完成之后的删除策略。 never：文件内容上传完毕后不删除文件。 immediate：文件内容上传完毕后删除文件 。 说明： “isFileAppendable”配置为“false”时该配置项生效。 never fileSuffix 否 文件内容上传完成之后添加的文件名后缀。
打开Eclipse工具，选择“Window > Preferences”，弹出“Preferences”窗口。 在左侧菜单栏单击“Java”，显示如图1所示内容，选择相关配置，单击“OK”。 图1 Preferences 在左侧菜单栏选择“Java > Installed JREs”配置JDK环境变量，显示如图2所示。
调用说明 数据接入服务提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题： 使用前必读
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下： # startSeq与AT_S
创建DWS转储任务时，传入的DWS集群不存在 请检查DWS集群是否存在，运行是否正常。 400 DIS.4351 Invalid KMS userKey. 创建DWS转储任务时，传入的KMS密钥信息无效 请检查KMS密钥是否存在。 400 DIS.4354 The transfer task does not exist
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目的地，若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900。 单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet
场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA，并配置数据转发到DIS，实时上传车辆状态、监控数据，采用云上
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
