-
在线安装DIS Logstash Plugin - 数据接入服务 DIS
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 在线安装无需下载插件包，直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
-
转储至OBS - 数据接入服务 DIS
源数据类型JSON/CSV==>转储文件格式CarbonData 表4罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式CarbonData）时需要配置的差异化参数，共性参数的配置请参见表1。 表4 转储CarbonData格式文件的配置参数 参数 说明 取值 源数据Schema
-
转储至MRS - 数据接入服务 DIS
配置为空时，数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON，CSV，转储至MRS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
-
配置DIS Agent - 数据接入服务 DIS
配置DIS Agent DIS Agent配置文件格式为“YAML”，各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。 agent.yml文件模板可从“dis-agent”压缩包中获取，内容示例如下。具体配置项说明请参见表1。 --- # cloud region id region:
-
离线安装DIS Logstash Plugin - 数据接入服务 DIS
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
-
更新转储任务 - 数据接入服务 DIS
// 转储周期，单位s descriptor.setDeliverTimeInterval(300); // 可选，转储OBS的目标文件格式：默认text，可配置parquet、carbon descriptor.setDestinationFileType(DestinationFileTypeEnum
-
管理源数据Schema - 数据接入服务 DIS
“.json”,“.csv”和“.java”的文件格式。 左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。例如： 右侧文本框中单击，可修改已生成的Avro schema。例如： 文本框中单击“格式化”，可格式化解析数据。例如： 文本框中单击，可删除源数据样例。
-
添加OBS转储任务 - 数据接入服务 DIS
String 转储文件格式。 text：转储目标格式为TEXT，缺省值 parquet：转储目标格式为Parquet carbon：转储目标格式为Carbon 说明： “源数据类型”为“JSON”，“转储服务类型”为“OBS”时才可选择“parquet”或“carbon”格式。 缺省值：text
-
添加转储任务 - 数据接入服务 DIS
前往授权。 descriptor.setAgencyName("dis_admin_agency"); // 可选，转储OBS的目标文件格式：默认text，可配置parquet、carbon descriptor.setDestinationFileType(DestinationFileTypeEnum
-
步骤1：开通DIS通道 - 数据接入服务 DIS
BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
-
步骤1：开通DIS通道 - 数据接入服务 DIS
BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
-
使用DIS Logstash Plugin上传与下载数据 - 数据接入服务 DIS
Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS
-
使用DIS采集增量驾驶行为日志数据 - 数据接入服务 DIS
maxFileCheckingMillis 否 最长文件变动检查时间，如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化，则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “i
-
Json格式上传流式数据 - 数据接入服务 DIS
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
-
创建通道 - 数据接入服务 DIS
ADVANCED data_type 否 String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。
-
Protobuf格式上传流式数据 - 数据接入服务 DIS
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方
-
应用场景 - 数据接入服务 DIS
配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份，用于数据丢失
-
查询通道列表 - 数据接入服务 DIS
ADVANCED data_type String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。
-
查看通道详情 - 数据接入服务 DIS
JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值： BLOB JSON CSV data_schema String 用于描述用户JSON、CSV格式的源数据结构，采用Avro
-
更新通道信息 - 数据接入服务 DIS
JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值： BLOB JSON CSV data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构，采用Avro
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
