检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图6 上传文件 每个Flume实例均可以上传单独的服务端配置文件。
单击Flume角色 选择准备上传配置文件的节点的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。 图6 上传文件 每个Flume实例均可以上传单独的服务端配置文件。
编包并运行Spark应用 操作场景 在程序代码完成开发后,您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将s
jar之前,请确保已经进行kerberos安全登录,并且keytab方式下,登录用户和所上传keytab所属用户必须是同一个用户。 拓扑提交成功后请登录HDFS集群查看。 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1
在Linux环境中调测JDBC或Session应用 操作场景 IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例,JDBC程序操作与Session程序一样。 前提条件 已安装IoTDB客户端。
用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。
监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系运维人员恢复网络连接,然后检查告警是否恢复。
拥有读取、写入和执行权限。 在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 图1 下载客户端 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭
Linux下打包Storm业务 操作场景 Storm支持在Linux环境下打包。用户可以将从IntelliJ IDEA中导出的Jar包和需要的其他相关Jar包上传到Linux环境中执行打包。 前提条件 已安装Storm客户端。 已执行打包Strom样例工程应用。 当客户端所在主机不是集群中的节点时,
在Linux中调测JDBC或Session应用 操作场景 IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例,JDBC程序操作与Session程序一样。 前提条件 已安装IoTDB客户端。
果数据不一致,CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态,比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对, 不支持日期、时间戳、decimal、numeric、json等特殊数据类型的比对。
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将s
jar,其中mrs-xxx表示MRS的版本号,将获取的包上传到“/opt/opentsdb-example”目录下。 执行Jar包。 加载环境变量。 source /opt/client/bigdata_env 认证集群用户(未启用kerberos的集群可跳过此步骤)。 人机用户:kinit
zip”解压,获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹,单击“上传文件”,选择本地存放的Spark样例数据。 单击“上传”,上传样例数据到OBS并行文件系统。 上传步骤 7中解压后的数据至“input”文件夹下。 图4 上传样例数据 步骤3:创建作业 在MRS控制台左侧导航栏选择“现
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
配置HetuEngine物化视图的有效期与数据刷新能力 物化视图的有效期 创建物化视图的“mv_validity”字段为物化视图的有效期,HetuEngine只会使用有效期内的物化视图进行自动改写。 物化视图的数据刷新 如果需要数据定期更新,需要定时刷新物化视图,可以使用如下两种方式实现:
登录FusionInsight Manager。 选择“系统 > 对接 > 监控数据上传”。 单击“监控数据上传”右边的开关。 “监控数据上传”默认为不启用,开关显示为表示启用。 根据表2所示的说明填写上传参数: 表2 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数,指定服务
打包成功之后,在工程根目录的target子目录下获取打好的jar包。 将导出的Jar包上传至Linux运行环境的任意目录下,例如“/optclient”。 将工程中的“lib”文件夹和“conf”文件夹上传至和Jar包相同的Linux运行环境目录下,例如“/opt/client”(其中
未安装客户端时编译并运行HBase应用 HBase应用程序支持在未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。