已找到以下 181 条记录
产品选择
数据接入服务 DIS
没有找到结果,请重新输入
产品选择
数据接入服务 DIS
产品选择
没有找到结果,请重新输入
  • 步骤2:准备DIS应用开发环境 - 数据接入服务 DIS

    JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同变量对应不同版本JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装JDK,单击“OK”。 单击“Add”按钮,弹出“Add

  • 通道列表简介 - 数据接入服务 DIS

    分区数量:分区是DIS数据通道基本吞吐量单位。通道多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中数据保留最长时间,超过此时长数据将被清除。取值范围:24~72整数。单位:小时。 创建时间:显示通道创建时间。格式为:yyyy/MM/dd

  • 步骤1:开通DIS通道 - 数据接入服务 DIS

    存储在DIS中数据保留最长时间,超过此时长数据将被清除。 取值范围:24~72整数。 24 源数据类型 BLOB:存储在数据库管理系统中一组二进制数据。“源数据类型”选择“BLOB”,则支持“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放文件格式,以易读文字为

  • 步骤1:开通DIS通道 - 数据接入服务 DIS

    存储在DIS中数据保留最长时间,超过此时长数据将被清除。 取值范围:24~72整数。 24 源数据类型 BLOB:存储在数据库管理系统中一组二进制数据。“源数据类型”选择“BLOB”,则支持“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放文件格式,以易读文字为

  • DIS服务端错误码 - 数据接入服务 DIS

    请按照指示上传对应块。 400 DIS.4221 Block seq %s is expected 重复传入相同文件块 请从系统期待块开始上传。 400 DIS.4222 Block seq %s is expected. 传入文件块不连续 从系统期待块开始上传。 400

  • 步骤2:准备DIS应用开发环境 - 数据接入服务 DIS

    JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同变量对应不同版本JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装JDK,单击“OK”。 单击“Add”按钮,弹出“Add

  • 查看监控指标 - 数据接入服务 DIS

    查看监控指标 操作场景 云监控服务可以对数据接入服务通道运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据获取与传输会花费一定时间,因此,云监控显示是当前时间5~10分钟前状态。如果您数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。

  • 上传流式数据 - 数据接入服务 DIS

    使用初始化DIS客户端后客户端实例将用户流式数据通过DIS通道上传至DIS服务。 其中,“streamName”配置值要与开通DIS通道中“通道名称”值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 批量上传流式数据主体代码如下:

  • 权限管理 - 数据接入服务 DIS

    限最小化安全管控要求。 如表1所示,包括了DIS所有系统权限。其中“依赖关系”表示该系统权限对其它权限依赖。由于华为云各服务之间存在业务交互关系,数据接入服务权限依赖其他服务权限实现功能。因此给用户授予数据接入服务权限时,需要同时授予依赖权限,数据接入服务权限才能生效。

  • 应用场景 - 数据接入服务 DIS

    应用场景 实时数据处理 实时收集城市各交通枢纽车辆通行数据,缓存在通道中,分析平台周期读取通道中数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生文件,并采集上传到云上,进行离线分析、存储查询及

  • 获取认证信息 - 数据接入服务 DIS

    单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认下载文件夹中。打开名称为“credentials.csv”文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥安全,访问密钥仅在初次生成时自动下载,

  • 计费说明 - 数据接入服务 DIS

    额度和时长,获取更多优惠。超出资源包部分自动转按需计费。 各资源包在不同规格及时长下具体价格,请参见产品价格详情。你可以通过DIS提供价格计算器,根据您业务诉求,来快速计算出购买DIS参考价格。 计费示例 假设用户A上传流量为5MB/s,单条记录大小为2KB,创建5

  • 开通DIS服务 - 数据接入服务 DIS

    登录DIS控制台。 单击页面右上角用户名,选择“我的凭证”。 “我的凭证”页面,单击“管理访问密钥”区域下方“新增访问密钥”。 根据界面提示输入相关信息并保存新创建访问密钥。 每个用户最多可创建两个有效访问密钥。 为防止访问密钥泄露,建议您将其保存到安全位置。如果用户在此提示框中

  • 入门实践 - 数据接入服务 DIS

    当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身业务需求使用DIS提供一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云表格存储服务(CloudTable

  • 什么是分区? - 数据接入服务 DIS

    分区(Partition)是DIS数据通道基本吞吐量单位。创建通道时,将指定所需分区数量。 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求记录总大小不能超过1MB(不包含partitionKey数据大小)。

  • 什么是DIS? - 数据接入服务 DIS

    什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据自定义应用程序构建数据流管道,主要解决云服务外数据实时传输到云服务内问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。

  • 弹性伸缩分区 - 数据接入服务 DIS

    上传数据时,不建议设置数据PartitionKey,DIS会自动根据通道分区数量将数据均匀散列到多个分片中。如果设置数据PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期使用descriptStream接口检测通道分区数量变化,以便DIS可以下载到所有分区的数据。

  • 步骤3:发送数据到DIS - 数据接入服务 DIS

    Lake Insight,简称DLI),具体存储位置在新增转储任务“数据转储”中配置。 DIS为临时存储器,存储在DIS中数据最长保留时间为3中配置“生命周期”值。 样例代码 样例工程为DIS SDK桶中下载“huaweicloud-sdk-dis-java-X.X.X.

  • 步骤3:发送数据到DIS - 数据接入服务 DIS

    Lake Insight,简称DLI),具体存储位置在新增转储任务“数据转储”中配置。 DIS为临时存储器,存储在DIS中数据最长保留时间为步骤 3中配置“生命周期”值。 样例代码 样例工程为DIS SDK桶中下载“huaweicloud-sdk-dis-java-X.X.X

  • 上传数据 - 数据接入服务 DIS

    Offset [123]. 与原生KafkaProducer接口适配说明 DISKafkaProducer实现与KafkaProducer实现不同,DISKafkaProducer客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。