检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 参
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务（Data Ingestion Service,简称DIS）面向IoT、互联网等实时数据，提供高效采集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
包含手动缩容和自动缩容）操作。 进行弹性伸缩分区后，有如下注意事项： 上传数据时，不建议设置数据的PartitionKey，DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey，可能会导致数据倾斜，产生通道限流。 下载数据时，需要定期的
rtingOffsets；另外一个参数enable.auto.commit，设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset，设置为false则不自动提交，用户可以手动调用commitAsync提交，参见示例代码中如下部分
在左侧列表栏中选择“通道管理”。 单击通道名称，进入所选通道的管理页面。 选择“授权管理”，单击“添加授权策略”， 选择授权模式，再在“被授权用户”文本框中，设置用户信息。 支持通配符"*"，表示授权所有账号； 支持添加多账号，用","隔开 支持授权某账号下的特定用户，输入账号名，单击"查询用户"按钮，选择用户。
DIS对于从数据生产者快速移出数据，然后进行持续处理非常有用。以下是使用DIS的典型场景： 加速日志和数据传送获取：您无需等待批量处理数据，而是让数据生产者在生成数据后立即输入DIS数据通道，防止因数据生产者出现故障导致的数据损失。例如，系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
添加DLI转储任务 功能介绍 本接口用于添加DLI转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
添加MRS转储任务 功能介绍 本接口用于添加MRS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
下载数据 功能介绍 本接口用于从DIS通道中下载数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数
添加DWS转储任务 功能介绍 本接口用于添加DWS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器，即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
修改分区数量 功能介绍 本接口用于变更指定通道中的分区数量。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
含义与kafka设置相同，但默认值为50(kafka是0)，目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同，但默认值为1MB(kafka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
含义与kafka设置相同，但默认值为50(kafka是0)，目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同，但默认值为1MB(kafka是16KB)，目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
找到创建源数据Schema入口后，按照如下方法创建源数据Schema： 单击“源数据Schema”后的“直接创建”。 配置“属性名”和“数据类型”后，单击“添加”，如图4所示，添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后，选中已创建的根节点，按照同样的方法，配置“属性名”和“数据类型”，添加子节点。
partition, long offset) 接口 支持 给分区设置指定的offset void seekToBeginning(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Colle
partition, long offset) 接口 支持 给分区设置指定的offset void seekToBeginning(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Colle
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
Editor > File Encodings”， 设置pycharm编码。 Global Encoding、Project Encoding和Default encoding for properties files分别设置为UTF-8。 父主题： 使用SDK（Python）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
