检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。
云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的状态。如果您的数据接入服务通道刚刚创建完成，请等待5～10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
入门 DIS使用流程简介 步骤1：开通DIS通道 步骤2：准备DIS应用开发环境 步骤3：发送数据到DIS 步骤4：从DIS获取数据 获取认证信息 连接OBS 自动创建委托
Source正常启动，其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据，如果flume没有报错且sink端能正常获取到数据，表示下载正常。 如果使用步骤 2中示例的配置，则从DIS获取的数据会输出到控制台上，其内容显示为字节数组格式。
从通道内读取的用户记录会写入文件后，再通过文件的形式转储到目标服务（如OBS、MRS） 记录数 用户转储日志开始构建到构建完成的时间间隔内，上传的记录条数。 数据量（字节） 用户转储日志开始构建到构建完成的时间间隔内，上传数据的大小。 单位：字节 操作 转储失败的详情。 “状态”为“已完成”，该列不可操作。
最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目的地，若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900。 单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet
2021-01-08 第三十三次正式发布 新增应用示例场景，规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码，修改错误码说明。 2020-05-09 第三十一次正式发布。 支持按照App查看监控信息，修改下载数据。
创建MRS转储任务时，传入的MRS HDFS路径无效 请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时，传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JS
限最小化的安全管控要求。 如表1所示，包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。
sequence_number String 需要提交的序列号，用来记录该通道的消费检查点，需要保证该序列号处于有效范围内。 latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。 checkpoint_type
额度和时长，获取更多的优惠。超出资源包的部分自动转按需计费。 各资源包在不同规格及时长下的具体价格，请参见产品价格详情。你可以通过DIS提供的价格计算器，根据您的业务诉求，来快速计算出购买DIS的参考价格。 计费示例 假设用户A的上传流量为5MB/s，单条记录大小为2KB，创建5
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数，默认值为100(Kafka默认为5)可提高发送性能，但可能出现数据顺序不一致的问题。如需严格保证顺序，建议此值设置为1 block.on.buffer.full 参数 支持
进行弹性伸缩分区后，有如下注意事项： 上传数据时，不建议设置数据的PartitionKey，DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey，可能会导致数据倾斜，产生通道限流。 下载数据时，需要定期的使用descriptStream接口检测通道分区数量的变化，以便DIS可以下载到所有分区的数据。
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。 取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
