检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig
task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行delete_dump_task_sample.py文件默认调用delete_dump_task_test方法,获取响应204删除成功。 父主题: 使用SDK(Python)
py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。
#APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample.py文件调用Applist_test方法。 响应结果如下: 1 2 200 {'has_more_app': False, 'apps': [{'app_id':
使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink Connector上传与下载数据
fill_missing_fields 当数据导入时,若数据源文件中一行的最后一个字段缺失的处理方式。 取值范围:true/on,false/off。缺省值为false/off。 参数为true/on,当数据导入时,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。
通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER' 配置好以上参数,执行getRecords_sample.py文件调用getRecords_test方法,响应结果如下。 1 2 200 {'next_partition_cursor': 'eyJnZX
add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint
build(); 若使用JAVA SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。
新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。 DNS配置操作在保存“/etc/resolv.conf”文件的修改操作后立即生效。 对“/etc/resolv.conf”文件的修改操作在弹性云服务器重启后会失效,需要重新进行配置。如果用户不希望每次重启弹性云服务器后都重新配置DN
读取通道数据时,如何区分不同类型数据? 不同类型的消息使用不同的通道; 使用同一个通道的不同分区。上传消息时,不同类型的消息指定不同的partition_key,消费时根据partition_key来区分不同类型消息。 父主题: 转储相关问题
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题: 使用SDK
的已有数据,而是从下一条上传的数据开始。 (如分区数据有效范围为[100, 200], 则会从200开始消费,如此时无数据上传,则获取的数据为空;如有数据上传,就会得到200,201,202,...) 适用于不知道消费位置,则丢弃分区已有的数据,从新上传的数据开始消费的场景。 无
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
数据转储周期 根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。