检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“客户端类型”选择“完整客户端”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 查询并登录主Master节点。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。
本章节仅适用于MRS 1.9.2版本集群。 问题现象 Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/instal
在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。 父主题: 准备Spark应用开发环境
ckage patch success.”表示执行完成)。 ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件Cl
//失效时间 导入证书文件。 导入新的CA证书文件。 请联系运维人员申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行8。 否,处理完毕。 导入新的HA证书文件。 请参考更换HA证书章节,申请或生成新的HA证书文件并导入。手动清除
下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。
在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为userdata的文件系统。 在OBS文件系统列表中单击文件系统名称userdata,选择“文件 > 新建文
lang.String directory) 入参directory为HDFS目录,该方法创建一个输入流检测可兼容Hadoop文件系统的新文件,并且读取为文本文件。 void start() 启动Spark Streaming计算。 void awaitTermination() 当前进程等待终止,如Ctrl+C等。
--delete-target-dir 若Hive中已存在目标文件,则先删除该文件再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数,sqoop将把数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已存在的文件重名。 -as-avrodatafile
HDFS > 配置 > 全部配置”,搜索并获取参数“dfs.namenode.rpc.port”的值。 访问的HDFS文件路径: 如果是访问的多个文件,需要指定到文件夹后边加上*号,如:hdfs://{namenode_ip}:{dfs.namenode.rpc.port}/tmp/*
令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件、认证文件: 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example(单集群场景) 需将以下文件放置在样例工程的“../src/main/resources/conf”目录下:
设备 > 主机 > 主机状态 > 主机文件句柄使用率 > 主机文件句柄使用率”修改阈值。 平滑次数为1,主机文件句柄使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机文件句柄使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12053 严重
请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples\hetu-examples-security”。 在应用开发环境中,导入样例工程到IntelliJ
请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ
以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16.04版本。 准备运行环境 进行应用开发时,需
new Properties(); //"hiveclient.properties"为客户端配置文件 //"hiveclient.properties"文件可从对应实例客户端安装包解压目录下的config目录下获取,并上传到JDBC样例工程的“hive-jdbc-example/
new Properties(); //"hiveclient.properties"为客户端配置文件 //"hiveclient.properties"文件可从对应实例客户端安装包解压目录下的config目录下获取,并上传到JDBC样例工程的“hive-jdbc-example/
ALM-50209 生成元数据镜像文件失败的次数超过阈值 告警解释 系统每30秒周期性检查FE节点生成元数据镜像文件失败的次数,当检查到失败的次数超出阈值(默认值为1)时产生该告警。 当系统检查到FE节点生成元数据镜像文件失败的次数低于阈值时,告警清除。 告警属性 告警ID 告警级别