检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。
须由大写字母、小写字母或数字开头。 名称长度为1~64字符。 订阅通道 设置是否开启订阅指定通道的告警功能。 表示开启订阅指定通道告警功能,表示关闭订阅指定通道告警功能,默认为关闭状态。 开启后,配置通道名称,可以订阅指定通道的告警,避免接收其它通道不必要的告警。 订阅类型 支持SMN通知和DIS通道。
CreateTransferTaskRequest request = new CreateTransferTaskRequest(); // 配置通道名称:用户在数据接入服务(简称DIS)控制台创建通道 request.setStreamName(streamName); // 添加OBS转储任务,并设置任务名称
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window
源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
"Altitude":"null"} 本实践中,通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行delete_dump_task_sample
根据stream_type选取方法,参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行changepartitionQuantity_sample
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式: 在线安装无需下载插件包,直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_S
准备环境 已安装python2.7或以上版本,配置好python环境变量。 已安装pycharm。 父主题: 使用SDK(Python)
删除APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appName = "" #待删除的APP名称 配置好以上参数,执行deleteApp_sample.py文件调用deleteApp_test方法,响应204表示删除成功。 父主题:
登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
删除通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname = "" #已存在的通道名称 配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。
查询APP详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appname=”app1” #查询的APP名称 配置好以上参数,执行describeApp_sample.py文件调用describeApp_test方法。 响应结果如下:
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
创建APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appName = "" #创建的APP名称 配置好以上参数,执行createApp_sample.py文件调用createApp_test方法,响应201表示创建成功。 父主题: 使用SDK(Python)