检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后,执行describe_dump_task_sample.py文件默认调用describe_dump_task_test方法。 返回信息如下:
${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin install logstash-input-dis 安装完成后,显示类似如下内容,表示安装成功。 Validating logstash-input-dis Installing logstash-input-dis
#已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行delete_dump_task_sample.py文件默认调用delete_dump_task_test方法,获取响应204删除成功。
partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。 配置好以上参数后,执行putRecords_sample.py文件调用putRecords_test方法,响应结果如下: 1 2 200 {'failed_record_count':
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题:
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据
登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 单击“数据接入服务”,开通服务。 创建访问密钥。 DIS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的DIS资源。
单击“通道调试”,选择对应分区后的上传或下载操作,进行数据的上传和下载。 图1 上传下载数据 单击“上传”,在上传文本框中输入上传内容后,确认上传。 系统提示上传数据成功,并在界面回显当前数据上传成功记录的序列号。 图2 上传数据 单击“下载”,选择游标类型并输入对应的序列号,确认完成。下载成功后,您可以文本形式获取响应体。
如何校验软件包完整性? 获取DIS SDK软件包及校验文件后,可以在Linux系统上按如下步骤对软件包的完整性进行校验。 前提条件 已获取“PuTTY”工具。 已获取“WinSCP”工具。 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。
的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅,表示关闭事件订阅,默认为关闭状态。关闭后停止发送已订阅事件的通知消息,不会删除该订阅。 订阅名称 设置订阅事件的名称。 名称只能包含大写字母、小写字母、数字、-和_,且必须由大写字母、小写字母或数字开头。
管理通道标签 标签是通道的标识。为通道添加标签,可以方便用户识别和管理拥有的通道资源。 您可以在创建通道时添加标签,也可以在通道创建完成后,在通道的详情页添加标签,您最多可以给通道添加10个标签。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及
默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用数据接入服务的其它功能。
DIS对于从数据生产者快速移出数据,然后进行持续处理非常有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。 实时指
由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。 已删除的通道,云监控将默认该通道不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。
创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema: 单击“源数据Schema”后的“直接创建”。 配置“属性名”和“数据类型”后,单击“添加”,如图4所示,添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后,选中已创建的根节点,按照同样的方
dis-logstash-plugins-X.X.X.zip 进入安装包解压后的目录。 cd logstash-plugins 运行安装程序,需要指定Logstash的安装目录。 bash install.sh –p ${LOGSTASH_HOME} 安装完成后,显示类似如下内容,表示安装成功。 Install