检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
main(String[] args) { // 认证用的ak和sk直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前
在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”,进入“购买接入通道”页面。 “高级配置”页签,选择“现在配置”,展开标签页。 输入新添加标签的键和值。 系统支持添加多个标签,最多可添加10个标签,并取各个标签的交集,对目标通道进行搜索。
含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) value.serializer 参数 支持 含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) linger.ms 参数 支持 含义与kafka设置相同,但默认
含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) value.serializer 参数 支持 含义与kafka设置相同,但默认值为StringSerializer (kafka必须配置) linger.ms 参数 支持 含义与kafka设置相同,但默认
可能原因:DIS网关将服务器IP加入黑名单,导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法:停止Agent进程,修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException:
数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地(OBS,
登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
恢复后仍不满足扩容需求,系统将新建分区。 对已有分区进行缩容操作后,缩容成功的分区不再进行计费也不参与配额控制。在步骤1:开通DIS通道中配置的“生命周期”时间内,缩容成功的分区可以读取数据不可写入数据,超过此时间则不可读取/写入数据。 执行自动扩缩容操作 使用注册账户登录DIS控制台。
2018-09-25 第九次正式发布。 新增如下内容: 准备环境~~获取数据游标 2018-08-19 第八次正式发布。 修改如下内容: 配置样例工程 2018-07-23 第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP
符。 默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围:0~7200。单位:秒。默认配置为1800
String 用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。 取值范围:0~7200。 单位:秒。 默认配置为1800。 配置为“0”表示DIS服务不会在转储失败时进行重试。 响应参数
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
CloudTable schema. 创建CloudTable转储任务时,传入的schema无效 请根据返回的详细信息检查schema,例如配置的JSON属性名称是否存在,参数是否合法等。 400 DIS.4348 Invalid CloudTable openTSDB schema
应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 更多 DIS Agent相关问题 Agent如何配置监听多目录或文件? Agent如何配置递归监听一个目录? Agent如何配置代理? 操作系统相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境
TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS