检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
Installed JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
Installed JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程 父主题: 使用DIS Spark Streaming下载数据
Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
Library”,单击“Next”确认“Workspace default JRE”为jdk1.8及以上版本。 单击“Finish”退出“Add Library”对话框。 单击“Apply and Close”完成JDK添加。 父主题: 使用SDK(Java)
Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
gion都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Flink Connector上传与下载数据
的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Regio
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
Source正常启动,其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据,如果flume没有报错且sink端能正常获取到数据,表示下载正常。 如果使用步骤 2中示例的配置,则从DIS获取的数据会输出到控制台上,其内容显示为字节数组格式。
出现类似如下提示,表示卸载成功。 Uninstall dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在页面下载生成。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在“我的凭证 > API凭证”页面查看不同Region对应的项目ID值。