检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“dis-spark-streaming-demo”目录包含一个Maven工程样例。 编写SparkStreaming作业 以IntelliJ IDEA社区版为例,说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好 JDK 1.8+ Scala-sdk-2.11 Maven 3.3
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647,表示会无限重试。 重试时会使用指数退避算法,并等待一段时间,以减轻异常时服务器压力。 2147483647 resultLogLevel 否 每次调用DIS接口后输出最新sequenceNumber到日志的级别。 有效值与级别由低到高为
批量启动转储任务 功能介绍 此接口用于批量启动转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
2018-11-28 第十一次正式发布: 修改如下内容: 初始化DIS客户端 创建通道 下载流式数据 2018-11-07 第十次正式发布。 修改如下内容: 如何校验软件包完整性? 2018-09-25 第九次正式发布。 新增如下内容: 准备环境~~获取数据游标 2018-08-19 第八次正式发布。
DIS通道与新的企业项目进行关联,DIS通道与原企业项目的关联关系将被自动解除。详细操作,请参考《企业管理用户指南》的“企业项目管理 > 如何管理资源”章节。
什么是分区? DIS主要应用于哪些场景? DIS有哪些特点和优势? DIS有哪些模块及各模块功能? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? 如何校验软件包完整性? DIS如何发送和接收数据? 什么是流控? DIS对接EPS鉴权后,进入通道列表页面看不见之前创建的通道?
批量暂停转储任务 功能介绍 此接口用于批量暂停转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
相关资源 SDK下载 兼容性 如何校验软件包完整性?
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
上传/下载请求平均处理时间(毫秒/个) 用户指定时间范围内,指定通道的上传/下载请求平均处理时间。单位:毫秒/个。 当在消费通道中提交了checkpoint操作,如何提交请参见新增Checkpoint,支持按照App维度监控App在通道中消费的数据信息。根据实际情况在“通道管理”页面选择“通道监控”,开
获取认证信息 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data