检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建带数据Schema的通道 您还可以为通道配置Schema,在使用DIS转储到其它服务时,可以根据通道配置的Schema来完成映射,示例如下。 Token认证,具体操作请参考Token认证。
高级通道单分区容量:最高发送速度可达 5MB/秒或2000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小) 目前每个租户默认Partition配额范围为1~50个,租户可以根据需要配置
配置“属性名”和“数据类型”后,单击“添加”,如图4所示,添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后,选中已创建的根节点,按照同样的方法,配置“属性名”和“数据类型”,添加子节点。
单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多 > 查看转储日志”,查看该通道的转储详情。
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA,并配置数据转发到DIS,实时上传车辆状态、监控数据,采用云上数据分析系统进行实时分析、检测,动态掌握设备状况,实现汽车故障提前感知。 图4 场景示例图
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。
例如,有5个普通分区时,上传总带宽为5MB/秒,下载总带宽为10MB/秒。当通道上传流量低于1.5MB/秒、且下载流量低于3MB/秒时,触发自动缩容操作,目标分区数为5/2=2.5,向下取整后为2。
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。
项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。
Project:用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。账户是租户对应的账号。
开启后,配置通道名称,可以订阅指定通道的告警,避免接收其它通道不必要的告警。 订阅类型 支持SMN通知和DIS通道。 说明: 当“订阅类型”设置为“SMN通知”,请参见步骤 5选择消息通知主题。 当“订阅类型”设置为“DIS通道”,请参见5选择通道。
修改如下内容: 配置样例工程 2018-07-23 第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。
准备环境 配置pom.xml文件 如果已有maven工程,在pom.xml中使用如下依赖即可。
假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。
准备环境 配置pom.xml文件 如果已有maven工程,在pom.xml中使用如下依赖即可。
假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。
创建CloudTable openTSDB转储任务时,传入的schema无效 请根据返回的详细信息检查schema,例如配置的JSON属性名称是否存在,参数是否合法等。 400 DIS.4350 Invalid DWS cluster.
取值范围:长度不超过64位,且不可配置为空。