检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 dis-Tido 通道类型 普通通道
参数类型 描述 project_id 是 String 项目ID。 app_name 是 String 需要查询的App名称。 stream_name 是 String 需要查询的通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
userName action_type String 授权操作类型。 putRecords:上传数据。 getRecords:下载数据。 枚举值: putRecords getRecords effect String 授权影响类型。 accept:允许该授权操作。 枚举值: accept
每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Reimport”,重新引入maven依赖库。 验证Flink Streaming Source作业 实际场景中,Flink Streaming作业需要提交在Flink集群上运行,但本次验证只介绍在本地IDE上测试,目的是了解sdk基本使用方法。测试完成后用户可自行创建集(如MRS集群)并提交作业验证。
Flink Connector依赖: <dependency> <groupId>com.cloud.dis</groupId> <artifactId>cloud-dis-flink-connector_2.11</artifactId> <version>1
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内,通道下载记录数。
传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations
统一身份认证服务(Identity and Access Management,简称IAM) 统一身份认证服务为DIS提供了用户鉴权功能。 云审计服务(Cloud Trace Service,简称CTS) 云审计服务记录DIS相关的操作事件,方便用户日后的查询、审计和回溯。CTS的更多信息,请参见《云审计服务用户指南》。
中,用户可以使用CloudTable查询指定车辆在指定时间段的车辆位置。 使用DIS采集增量驾驶行为日志数据 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data
total_get_bytes_per_partition:分区总输出流量(Byte) total_put_records_per_partition:分区总输入记录数(个) total_get_records_per_partition:分区总输出记录数(个) 枚举值: total_put_bytes_per_partition
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
订阅所有匹配通配符的通道并支持ConsumerRebalanceListener回调 void unsubscribe() 接口 支持 取消所有订阅 ConsumerRecords<K, V> poll(long var1) 接口 支持 获取消息,但消息当中未实现 checksum(消息的CRC32校验值)、seri
/opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程,则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。 bash bin/start-dis-agent.sh -c config/anotherAgent
否 String 枚举值: _sys_enterprise_project_id value 否 String 值。 对应的是企业项目ID,需要在企业管理页面获取。 36位UUID。 响应参数 无 请求示例 创建通道 POST https://{Endpoint}/v2/{project_id}/streams
14:40:22.092 [main] INFOcom.bigdata.dis.sdk.demo.ProducerDemo - Put 3 records[3 successful / 0 failed]. 14:40:22.092 [main] INFOcom.bigdata.dis.sdk
源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - 数据转储地址
14:40:22.092 [main] INFOcom.bigdata.dis.sdk.demo.ProducerDemo - Put 3 records[3 successful / 0 failed]. 14:40:22.092 [main] INFOcom.bigdata.dis.sdk