检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认配置为空。 retry_duration 否 String 用户数据导入DWS集群失败的重试失效时间。超出此配置项配置的时间,转储DWS失败的数据将备份至“OBS桶/ file_prefix/dws_error”目录下。取值范围: 0~7200。单位:秒。默认配置为1800。
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
名称长度为1~64字符。 订阅通道 设置是否开启订阅指定通道的告警功能。 表示开启订阅指定通道告警功能,表示关闭订阅指定通道告警功能,默认为关闭状态。 开启后,配置通道名称,可以订阅指定通道的告警,避免接收其它通道不必要的告警。 订阅类型 支持SMN通知和DIS通道。 说明: 当“订阅类型”设置为“SMN通知”,请参见步骤
认禁止Administrator用户,Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet
恢复后仍不满足扩容需求,系统将新建分区。 对已有分区进行缩容操作后,缩容成功的分区不再进行计费也不参与配额控制。在步骤1:开通DIS通道中配置的“生命周期”时间内,缩容成功的分区可以读取数据不可写入数据,超过此时间则不可读取/写入数据。 执行自动扩缩容操作 使用注册账户登录DIS控制台。
若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。 创建带数据Schema的通道 您还可以为通道配置Schema,在使用DIS转储到其它服务时,可以根据通道配置的Schema来完成映射,示例如下。 Token认证,具体操作请参考Token认证。 发送“POST htt
10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小) 目前每个租户默认Partition配额范围为1~50个,租户可以根据需要配置Partition个数。 若需扩大配额,请提交工单增加配额,具体上限需要根据集群的实际负载情况进行计算。 父主题: 一般性问题
也可选中待查看通道名称对应操作列,选择“更多”下拉列表中的“查看转储任务”。 单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
2018-09-25 第九次正式发布。 新增如下内容: 准备环境~~获取数据游标 2018-08-19 第八次正式发布。 修改如下内容: 配置样例工程 2018-07-23 第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。
CloudTable schema. 创建CloudTable转储任务时,传入的schema无效 请根据返回的详细信息检查schema,例如配置的JSON属性名称是否存在,参数是否合法等。 400 DIS.4348 Invalid CloudTable openTSDB schema
范围:长度不超过64位,且不可配置为空。如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OB
main(String[] args) { // 认证用的ak和sk直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前