检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
自定义Flink Streaming作业 获取DIS Flink Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包，解压之后获得以下目录： “hua
设置告警规则 操作场景 通过设置DIS通道告警规则，用户可自定义监控目标与通知策略，及时了解DIS通道运行状况，从而起到预警作用。 设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性？ 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
“shardId-0000000001”}] #"data"："xxx"为上传的数据值，请自定义；“partition_id”:“shardId-0000000001”为数据写入的分区id值，请自定义。 record1 = {"data": "xxx","partition_id":
DIS SDK能做什么 DIS概述 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
什么是数据接入服务DIS 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
什么是DIS？ 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
0190427 支持的内置函数列表： toDate(timestamp,format)：将时间戳转化为指定的时间格式，例如：toDate(1556323141582,'yymmdd') 自定义时间目录 通过单击或来关闭或开启自定义时间戳开关。 关闭自定义时间戳开关，则写到OBS的
加速日志和数据传送获取：您无需等待批量处理数据，而是让数据生产者在生成数据后立即输入DIS数据通道，防止因数据生产者出现故障导致的数据损失。例如，系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。 实时指标和报告：实时从DIS数据通道数据提取指标并生成报告。例如，
“shardId-0000000001”}] #"data"："xxx"为上传的数据值，请自定义；“partition_id”:“shardId-0000000001”为数据写入的分区id值，请自定义。 record1 = {"data": "xxx","partition_id":
obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 retry_duration
存储该通道数据的DWS数据库名称。 手动输入，不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式，模式又包含表。模式还包含其他命名的对象，包括数据类型、函数，以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突。 - DWS数据表 存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符
DIS监控信息参数说明 参数 说明 时间范围 选择查看监控信息的时间段，可查看所选时间范围内的监控信息。 取值范围： 1h 3h 12h 可自定义查看监控信息的时间段。 单击“自定义”页签后的，分别设置开始时间和结束时间。 其中，结束时间不能晚于当前的系统时间。 开始时间与结束时间的差值不超过72h。
send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口 支持 关闭Producer void close(long timeout, TimeUnit timeUnit)
临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 hdfs_prefix_folder 否 String 在MRS集群HDFS中存储通道文件的自定义目录，多级目录可用"/"进行分隔。
Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 hdfs_prefix_folder String 在MRS集群HDFS中存储通道文件的自定义目录，多级目录可用"/"进行分隔。
Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
需HDFS文件所在路径。 此处路径仅支持选择，不可手动输入。 配置此项必须已配置“MRS集群”。 转储文件目录 在MRS中存储通道文件的自定义目录，多级目录可用“/”进行分隔，不能以“/”开头。 取值范围：0~50个字符。 默认配置为空。 - 偏移量 最新：最大偏移量，即获取最新的有效数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
