检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkStreaming上传与下载数据 管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS 常见问题 了解更多常见问题、案例和解决方案 热门案例 什么是DIS？ 什么是分区？ 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别？ DIS如何发送和接收数据
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
上传数据 功能介绍 本接口用于上传数据到DIS通道中。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数
retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
数据类型，从下拉框中选择。 String Timestamp 说明： 当您待上传的源数据类型为Timestamp，请精确到毫秒级。 源数据类型JSON/CSV==>转储文件格式CarbonData 表4罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式CarbonData）时需要配置
传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id": “shardId-0000000001”}] #"data"："xxx"为上传的数据值，请自定义；“partition_id”:“shard
zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统，进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录，执行如下命令，获取DIS SDK压缩包的校验码。 sha256sum huaweicloud-sdk-dis-x
具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “isFileAppendable”配置为“false”时该配置项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。
转储至MRS 操作前提 转储至MRS时，不支持MRS集群3.x及以上版本，且MRS集群不能开启Kerberos认证。 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时，需要指定转储
监控页面查看数据是否上传成功。 在本地运行作业验证无误之后，请把pom.xml中的<scope>provided</scope>解除注释(防止以后打包会把flink依赖也打进来)，然后停止数据上传程序。 父主题： 使用DIS Flink Connector上传与下载数据
cd /opt 创建目录“jre”。 mkdir -p jre 设置JDK安装目录的权限。 chmod -R 640 jre/ 将压缩包上传到“jre”目录下，执行如下命令解压JRE安装包。 tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
nceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息，但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeyS
nceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息，但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeyS
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
