检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。例如,您可以让一个应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object Storage Service,简称OBS)。 安全可靠:DIS可将数据保留N*24小时,N的取值为1~7的整数,以防
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“
选择本地(可通过环境变量去查找)python安装目录下的“\Lib\site-packages \dis_sdk_python”样例工程的存储位置。(安装之后若未找到dis_sdk_python,请尝试升级pip,或者安装huaweicloud-python-sdk-dis): 单击“OK”完成项目导入。
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内,通道下载记录数。
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“
序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。序列号与游标类型AT_SEQUENCE_NUM
OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1");
传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations
PI的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中
分区数量:分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:24~72的整数。单位:小时。 创建时间:显示通道创建的时间。格式为:yyyy/MM/dd
端实例,实例名称为dic。 使用DIS SDK创建转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 添加转储到对象存储服务(OBS)的转储任务 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Projects”,单击“Next”,进入“Import Maven Projects”页面。 单击“Browse”按钮,根据实际情况选择“dis-sdk-demo”样例工程的存储位置,勾选样例工程,如图1所示。 图1 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。
cn-north-1 String region; // // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,或者使用交互方式式传参,确保安全; // 本示例以交互式方式。
request = ListTransferTasksRequest() response = client.list_transfer_tasks(request) print(response) except exceptions
Projects”,单击“Next”,进入“Import Maven Projects”页面。 单击“Browse”按钮,根据实际情况选择“dis-sdk-demo”样例工程的存储位置,勾选样例工程,如图5所示。 图5 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。
Projects”,单击“Next”,进入“Import Maven Projects”页面。 单击“Browse”按钮,根据实际情况选择“dis-sdk-demo”样例工程的存储位置,勾选样例工程,如图5所示。 图5 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。
void close(long timeout, TimeUnit timeUnit) 接口 支持 关闭Producer并设置超时时间 List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息 void flush(long
void close(long timeout, TimeUnit timeUnit) 接口 支持 关闭Producer并设置超时时间 List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息 void flush(long
data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: