检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在现有通道的标签页,执行标签的增、删、改、查操作。 登录管理控制台。 选择“EI企业智能 > 数据接入服务”。 在现有通道列表中,单击待管理标签的通道名称。 系统跳转至该通道详情页面。 选择“标签”页签,对通道的标签执行增、删、改、查。 查看 在“标签”页,可以查看当前通道的标签详情,包括标签个数,以及每个标签的键和值。
header. 请求头里的签名信息Authorization字段中缺失AK 请检查是否传入AK。 441 DIS.4107 Invalid AcessKey header. 请求头里的签名信息Authorization字段中的AK无效 请检查是否传入有效的AK,避免AK填写错误、AK被删除、临时AK过期等。
在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。
检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。 $ bin/jruby -v 检查DIS通道
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 -
序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。
seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.
invalid. %s 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400 DIS.4209 Invalid metrics label. %s 查询监控信息时,传入的监控指标不合法 请参考API文档检查监控指标并修正。
在左侧列表栏中选择“通道管理”。 在“通道管理”页面中单击需要扩缩容的通道名称。 在通道详情页面的右上角单击“扩缩容”按钮,弹出“变更分区数目”对话框。 修改“目标分区数”,单击“确认”。 在左侧列表栏中选择通道管理。 针对待扩缩容的通道,选中“操作”列中的“更多”下拉列表中的“扩缩容”。 弹出“变更分区数目”对话框。
在“SMN主题”下拉框中,选择合适的消息通知主题。 用户可以根据需要,通过以下操作新建消息通知主题。 单击“去创建SMN主题”,系统将跳转到消息通知服务的“主题”页面,用户可通过单击页面右上方的“创建主题”来新建主题,具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行,单击“更多
择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建,参见图2。 创建通道时,关闭“Schema开关”。待通道创建成功后,选择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“转储任务”页签
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
在左侧文本框中输入JSON或者CSV格式的源数据样例,也可单击导入源数据样例。 在左侧文本框中单击,可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击,可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击,可删除已生成的Avro schema。
在左侧文本框中输入JSON或者CSV格式的源数据样例,也可单击导入源数据样例。 在左侧文本框中单击,可删除左侧文本框中已输入或导入的源数据样例。 在左侧文本框中单击,可在右侧文本框中根据源数据样例生成Avro schema。 在右侧文本框中单击,可删除已生成的Avro schema。
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 父主题:
适用于不知道消费位置,但想从指定的时间或者从已知上次消费的停止时间开始消费的场景 若最老一条数据的上传时间为C,则timestamp>=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间,则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
DWS集群的用户名。 - 密码 DWS集群的密码。 - KMS密钥 集群的数据库加密密钥。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明