检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。 在下拉列表中选择“事件源”，在输入框中输入通道或转储任务名称，例如“demo”。 单击，显示筛选后的事件查询结果。 单击“事件”右侧的，选择事件名称，例如“转储任务恢复”，可过滤对应的事件。
图1 上传下载数据 单击“上传”，在上传文本框中输入上传内容后，确认上传。 系统提示上传数据成功，并在界面回显当前数据上传成功记录的序列号。 图2 上传数据 单击“下载”，选择游标类型并输入对应的序列号，确认完成。下载成功后，您可以文本形式获取响应体。 输入的序列号，需要在分区
据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
否 Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647，表示会无限重试。 重试时会使用指数退避算法，并等待一段时间，以减轻异常时服务器压力。 2147483647 resultLogLevel 否 每次调用DIS接口后输出最新sequenceNumber到日志的级别。
据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。 在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击，可删除已生成的Avro
批量添加资源标签 功能介绍 该接口用于批量添加资源（通道等）标签。此接口为幂等接口：创建时如果请求体中存在重复key则报错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{proje
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF：日志中不输出每次接口调用的结果。 INFO：每次接口调用的结果以INFO级别输出到日志。 WARN：每次接口调用的结果以WARN级别输出到日志。 ERROR：每次接口调用的结果以ERROR级别输出到日志。 INFO
创建通道 功能介绍 本接口用于创建通道。 创建通道时，需指定通道类型（普通、高级）、分区数量。 一个账号默认最多可以创建10个高级通道分区和50个普通通道分区，可提交工单增加配额。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口，您可以使用DIS的如API说明所示的功能。
IDEA构建工程，完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 >
在左侧列表栏中选择“通道管理”。 单击通道名称，进入所选通道的管理页面。 选择“授权管理”，单击“添加授权策略”， 选择授权模式，再在“被授权用户”文本框中，设置用户信息。 支持通配符"*"，表示授权所有账号； 支持添加多账号，用","隔开 支持授权某账号下的特定用户，输入账号名，单击"查询用户"按钮，选择用户。
"stz_test", "data_duration" : 48 } 更新通道类型 PUT https://{Endpoint}/v3/{project_id}/streams/{stream_name} { "stream_name" : "stz_test", "data_type"
DIS Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题：
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF：日志中不输出每次接口调用的结果。 INFO：每次接口调用的结果以INFO级别输出到日志。 WARN：每次接口调用的结果以WARN级别输出到日志。 ERROR：每次接口调用的结果以ERROR级别输出到日志。 INFO
换后入库，不报错，不中断导入。 参数为false/off，导入时遇到非法字符进行报错，中断导入。 须知： Windows平台下OBS若按照文本格式读取数据文件，遇到0x1A会作为EOF符号结束数据读入造成解析错误，这是Windows平台的实现约束。由于OBS不支持BINARY形式
单击“源数据Schema”后的“导入文件”。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。例如： 导入源数据样例时，仅支持导入“.txt”,“.json”,“.csv”和“.java”的文件格式。 左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。例如：
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
