已找到以下 134 条记录
AI智能搜索
产品选择
数据接入服务 DIS
没有找到结果,请重新输入
产品选择
数据接入服务 DIS
在搜索结果页开启AI智能搜索
开启
产品选择
没有找到结果,请重新输入
  • 转储至OBS - 数据接入服务 DIS

    因数据转储成功,存储目录结构取决于源数据时间戳和时间目录格式定义年月日层级。本示例中,时间目录格式精确到日,所以数据最终存储目录结构为“桶名称/转储文件目录/2010/10/12”。 源数据时间戳 时间戳属性名。 说明: 请输入您待上传源数据中定义时间戳对应字段名称。

  • 转储至MRS - 数据接入服务 DIS

    默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定转储服务,转储完成临时桶中数据会被清除。 - 数据临时目录 需要转储数据临时存储在OBS桶下此配置项配置目录中,转储完成临时目录中数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类

  • 步骤3:发送数据到DIS - 数据接入服务 DIS

    Lake Insight,简称DLI),具体存储位置在新增转储任务“数据转储”中配置。 DIS为临时存储器,存储在DIS中数据最长保留时间为3中配置“生命周期”值。 样例代码 样例工程为DIS SDK桶中下载“huaweicloud-sdk-dis-java-X.X.X.

  • 步骤3:发送数据到DIS - 数据接入服务 DIS

    Lake Insight,简称DLI),具体存储位置在新增转储任务“数据转储”中配置。 DIS为临时存储器,存储在DIS中数据最长保留时间为步骤 3中配置“生命周期”值。 样例代码 样例工程为DIS SDK桶中下载“huaweicloud-sdk-dis-java-X.X.X

  • Agent如何配置代理? - 数据接入服务 DIS

  • 概述 - 数据接入服务 DIS

    DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持全部操作请参见API概览。 在调用数据接入服务API之前,请确保已经充分了解数据接入服

  • 自定义SparkStreaming作业 - 数据接入服务 DIS

    文件内没有错误即表示开发环境配置成功,此文件逻辑是读取DIS通道中数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式样例,不具备停止再启动时从上一次停止位置开始能力。使用到SDK构造方法如下: ConsumerStrategies

  • 支持监控指标 - 数据接入服务 DIS

    支持监控指标 功能说明 本节定义了数据接入服务上报云监控监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持监控指标如表1所示。 表1 DIS监控指标 指标ID 指标名称

  • 查看通道监控信息 - 数据接入服务 DIS

    用户指定时间范围内,指定通道上传/下载请求成功次数。单位:个/秒。 因流控拒绝上传/下载请求次数(个/秒) 用户指定时间范围内,指定通道因流控拒绝上传/下载请求次数。单位:个/秒。 上传/下载请求平均处理时间(毫秒/个) 用户指定时间范围内,指定通道上传/下载请求平均处理时间。单位:毫秒/个。

  • 入门实践 - 数据接入服务 DIS

    当您参考开通DIS、从DIS获取数据等一系列操作,可以根据自身业务需求使用DIS提供一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云表格存储服务(CloudTable

  • 下载流式数据 - 数据接入服务 DIS

    适用于不知道消费位置,则直接消费分区内所有有效数据场景。 无 LATEST 从分区最新数据之后开始消费,即不读取分区内已有数据,而是从下一条上传数据开始。 (如分区数据有效范围为[100, 200], 则会从200开始消费,如此时无数据上传,则获取数据为空;如有数据上传,就会得到200,201,202

  • 数据接入服务 DIS - 数据接入服务 DIS

    生技术核心 GO语言深入之道 介绍几个Go语言及相关开源框架插件机制 跟唐老师学习云网络 唐老师将自己对网络理解分享给大家 智能客服 您好!我是有问必答知识渊博智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户聚集地。这里有来自容器服务技术牛人,为您解决技术难题。

  • 计费说明 - 数据接入服务 DIS

    额度和时长,获取更多优惠。超出资源包部分自动转按需计费。 各资源包在不同规格及时长下具体价格,请参见产品价格详情。你可以通过DIS提供价格计算器,根据您业务诉求,来快速计算出购买DIS参考价格。 计费示例 假设用户A上传流量为5MB/s,单条记录大小为2KB,创建5

  • 转储至DLI - 数据接入服务 DIS

    不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定转储服务,转储完成临时桶中数据会被清除。 - 数据临时目录 需要转储数据临时存储在OBS桶下此配置项配置目录中,转储完成临时目录中的数据会被清除。

  • 新增转储任务 - 数据接入服务 DIS

    日志转储状态。 已完成 失败 异常 读取记录数 从通道内读取用户记录数。 写入记录数 写入目标服务(如MRS)记录数,例如通道内一条用户记录可能转换为多条记录写入MRS服务opentsdb。 转储文件名 转储到目标服务文件名称。 从通道内读取用户记录会写入文件,再通

  • 权限管理 - 数据接入服务 DIS

    限最小化安全管控要求。 如表1所示,包括了DIS所有系统权限。其中“依赖关系”表示该系统权限对其它权限依赖。由于华为云各服务之间存在业务交互关系,数据接入服务权限依赖其他服务权限实现功能。因此给用户授予数据接入服务权限时,需要同时授予依赖权限,数据接入服务权限才能生效。

  • 使用DIS - 数据接入服务 DIS

    使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink Connector上传与下载数据

  • 使用限制 - 数据接入服务 DIS

    0。 用户使用接入通道上传数据时候,如果数据涉及敏感信息,请使用DIS SDK提供加密配置进行加密或者自行加密。 用户使用接入通道上传数据时,普通通道单分区单次请求记录总大小不能超过1MB(不包含partitionKey数据大小),高级通道单分区单次请求记录总大小不能超过5

  • 修订记录 - 数据接入服务 DIS

    增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布: 小文件功能下线,删除“创建源数据类型是FILE通道”。 2019-07-03 第十九次正式发布:

  • 使用SDK(Python) - 数据接入服务 DIS

    初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint