检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符
存储DWS数据库的密码。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。 取值范围:英文字母、数字、下划线和斜杠,最大长度为50个字符。
“isFileAppendable”配置为“false”时该配置项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。 never:文件内容上传完毕后不删除文件。 immediate:文件内容上传完毕后删除文件 。 说明: “isFileAppendabl
DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前,请确
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
用户数据导入CloudTable服务失败的失效重试时间。超出此时效,转储CloudTable失败的数据将备份至“OBS桶/ backup_file_prefix /cloudtable_error”或“OBS桶/ backup_file_prefix /opentsdb_error”目录下。取值范围:
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
cn-north-4.myhuaweicloud.com/v1/{project_id}/connections Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs
准备DIS Spark Streaming的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖:
https://dis.${region}.cloud.com agent.sources.dissource.group.id = YOU_APP_NAME # 定义 Channel agent.channels.memoryChannel.type = memory agent.channels
准备DIS Flink Connector的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector依赖:
表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint
LOGGER.error(e.getMessage(), e); } 运行程序 右键选择“Run As > 1 Java Application”运行程序,若程序运行成功,可以在控制台查看到类似如下信息: 1 2 3 4 5 6 15:19:29.298 [main]
获取方式请参见检查认证信息。 请根据实际情况配置 endpoint 是 DIS对应Region的数据接口地址。 请根据实际情况配置 group.id 是 DIS App名称,用于标识一个消费组,由英文字符、数字、-、_组成。 请根据实际情况配置 配置DIS Sink 表2 DIS Sink配置项说明 配置项
数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet
nt(DIS网关地址),region(区域),ak(用户ak),sk(用户sk),projectId(用户项目ID),group.id(app名称,表示某一个消费组);还可以包含auto.offset.reset,参数含义同Assign模式下的startingOffsets;另外一个参数enable
头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 tag 是 Tag object 标签对象。 表4 Tag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z
en的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label
检查与配置DNS信息 默认情况下,弹性云服务器已经配置了两个外网DNS服务器。 # Generated by NetworkManager search openstacklocal nameserver 114.114.114.114 nameserver 114.114.115
状态码是每次API请求响应的HTTPS状态码,表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。