检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X
成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。例如,您可以让一个应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object Storage Service,简称OBS)。 安全可靠:DIS可
0时可能无法登录DIS管理控制台,原因是某些Windows系统例如Win7旗舰版,默认禁止Administrator用户,Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer
对于获取用户Token接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体(可选) 该部分可选。响应消息体通常以结构化格式(如JSON或XML)返回,与响应
le文件内任意地方,右键选择“Run 'DISFlinkStreamingSourceJavaExample'”,即可启动作业。 如果没有其他错误,将从DIS读取数据并输出到控制台,示例如下: 2> hello world 2> hello world 2> hello world
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
重启弹性云服务器,查看“/etc/resolv.conf”文件的内容,确认其中包含待配置的DNS服务器地址,并且新增DNS服务器地址位于其他DNS服务器地址之前。 # Generated by NetworkManager search openstacklocal nameserver
数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 父主题: 使用DIS
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ
not locate executable null\bin\winutils.exe in the Hadoop binaries. 如果没有其他错误,则作业会每隔duration运行一个批次,从DIS读取此批次内的数据并输出结果,示例如下: --------------------
DIS.4117 Invalid Project Id. 用户传入的projectId无效 请检查传入的projectId是否有效,是否传入了其他project的id。 400 DIS.4200 Invalid request. 用户的请求无效 请参考API文档检查请求。 400 DIS
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。 - 现在配置 单击“现在配置”,呈现添加标签。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。 - 现在配置 单击“现在配置”,呈现添加标签。
支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
e); // 配置DWS集群信息:集群名称、集群ID、数据库等信息。可通过数据仓库服务(简称DWS)控制台创建和查询集群,并通过客户端或其他方式创建数据表 descriptor.setDwsClusterName("dis_test"); descriptor.setDwsCl
支持,但是参数名改为exception.retries Kafka默认设置为0,DIS默认设置为8。 出现网络/服务端异常的重试次数,尽量保证数据上传成功 其他参数 参数 不支持 - 父主题: 使用Kafka Adapter上传与下载数据
4117 Invalid Project Id. %s 用户传入的projectId无效 请检查传入的projectId是否有效,是否传入了其他project的id。 400 DIS.4200 Invalid request. %s 用户的请求无效 请参考API文档检查请求。 400