检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming概述 DIS Spark Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程
删除APP 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建DIS通道，需要指定APP名称。 1 2 // 待删除APP名称 String appName = "myApp"; 配置APP名称之后，通过调用deleteApp的方法删除APP。
默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
通道管理 创建通道 查询通道列表 删除指定通道 查看通道详情 修改分区数量 更新通道信息 添加权限策略 查询权限策略列表 父主题： API说明
<scope>compile</scope> </dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页
在调用接口的时候，部分URL中需要填入项目编号，所以需要获取到项目编号。项目编号获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“基本信息”。 在基本信息页面单击“管理我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题： 附录
区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时，您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息，请参阅地区和终端节点。
取值范围： 整型值 unlimited（无限制） 缺省值为0，有错误信息立即返回。 error_table_name String 用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 表9 MRSDestinationDescriptorRequest
使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
401 Unauthorized 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求
其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 1 2 3 4 5 6 7 8 9 GetCheckpointRequest getCheckpointRequest = new
其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 // 目标分区数量 int targetPartitionCount
号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 项目 区域默认对应一
查询通道详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK查询指定通道信息。 1 2 3 4 String streamName = "myStream"; DescribeStreamRequest describeStreamRequest
- Schema开关 创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。 通过单击或来关闭或开启Schema配置开关。 说明： 若创建通道时，没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。
化DIS客户端。 2019-05-07 第十七次正式发布： 查询通道列表SDK增加分页功能说明，修改查询通道列表。 2019-04-16 第十六次正式发布： 查询通道列表SDK增加响应参数说明，修改查询通道列表。 2019-03-18 第十五次正式发布： 新增如下内容： 添加转储任务~~查询转储详情
新增Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中，“streamName”的配置值要与开通DIS通道中“Stream
密钥”。 根据界面提示输入相关信息并保存新创建的访问密钥。 每个用户最多可创建两个有效的访问密钥。 为防止访问密钥泄露，建议您将其保存到安全的位置。如果用户在此提示框中单击“取消”，则不会下载密钥，后续也将无法继续下载，用户必须将此密钥删除后再创建新的访问密钥。 父主题： 开通DIS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
