检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增转储任务 将数据发送到DIS通道后,通过为通道添加转储任务,数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称,进入所选通道的管理页面,选择“转储管理”页签。也可选中待
监控管理 查询通道监控 查询分区监控 父主题: API说明
Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题: 使用Agent上传数据
最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet
进行弹性伸缩分区后,有如下注意事项: 上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStrea
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类型JS
管理企业项目 企业项目是一种云资源管理方式。企业管理(Enterprise Management)提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台上独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部
登录DIS控制台,查看配置DIS Agent中“DISStream”或“CustomFileStream”通道的监控。有数据上传,表示DIS服务接收正常,Agent安装成功。 父主题: 使用Agent上传数据
Agent包中获取的“dis-agent-X.X.X.zip”压缩包保存到本地。 解压“dis-agent-X.X.X.zip”压缩包至当前目录。 父主题: 使用Agent上传数据
转储任务管理 添加OBS转储任务 查询转储任务列表 删除转储任务 查询转储任务详情 批量启动转储任务 批量暂停转储任务 添加DWS转储任务 添加MRS转储任务 添加DLI转储任务 添加CloudTable转储任务 父主题: API说明
响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数
BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB JSON CSV data_duration
检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
查看通道监控信息 用户可以通过控制台查看通道的监控信息,支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在
场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA,并配置数据转发到DIS,实时上传车辆状态、监控数据,采用云上
删除通道 通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题:
等待出现如下提示,则表示停止完成.输入“Y”,单击“回车”键即可正常关闭窗口。 Terminate batch job (Y/N)? 父主题: 使用Agent上传数据
bigdata.dis.agent.Agent Agent: Startup completed in XXX ms. 父主题: 使用Agent上传数据
Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String