检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“.json”,“.csv”和“.java”的文件格式。 左侧文本框中单击,可在右侧文本框中根据源数据样例生成Avro schema。例如: 右侧文本框中单击,可修改已生成的Avro schema。例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。
(Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint
(Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint
deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。
BatchTransferTask 参数 是否必选 参数类型 描述 id 是 String 转储任务ID 响应参数 无 请求示例 批量启动转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/action
BatchTransferTask 参数 是否必选 参数类型 描述 id 是 String 转储任务ID 响应参数 无 请求示例 批量暂停转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks/action
获取方式请参见检查认证信息。 请根据实际情况配置 endpoint 是 DIS数据网关地址。 格式:https://DIS终端节点。 说明: 获取DIS终端节点请参见终端节点及区域说明。 https://dis.cn-north-1.myhuaweicloud.com body.serialize
deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。
Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户
介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43 响应参数 无 请求示例 批量删除资源标签 POST https://{Endpoint}/v2/{project_id}/stream/{stream_id}/tags/action { "action"
最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储
只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43 响应参数 无 请求示例 批量添加资源标签 POST https://{Endpoint}/v2/{project_id}/stream/{stream_id}/tags/action { "action"
参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。 请求示例 查询分区监控数据 GET https://{Endpoint}/v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics
加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。 实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系
通过单击或来关闭或开启自定义时间戳开关。 关闭自定义时间戳开关,则写到OBS的Object文件所在的目录层次结构,将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件,选择“时间目录格式”精确到日,则数据转储成功后,在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。
Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户
否 String 值。 对应的是企业项目ID,需要在企业管理页面获取。 36位UUID。 响应参数 无 请求示例 创建通道 POST https://{Endpoint}/v2/{project_id}/streams { "stream_name" : "newstream"