检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令,查看10查找出的同步文件信息及权限。 ll 待查找文件路径 如果文件大小为0,且权限栏全为“-”,则为垃圾文件,请执行以下命令删除。 rm -rf 待删除文件 等待几分钟观察告警是否清除,如果未清除则执行12。 如果文件大小不为0,则执行12。 查看发生告警时间段的日志文件。 执行以下命
lasses/user.keytab”文件。 替换knox用户的keytab和conf文件。 登录MRS Manager页面,选择“系统 > 用户”,在knox用户所在的“操作”列,单击“下载认证凭据”,解压后获取keytab和conf文件。 使用root用户登录主管理节点,将获
设置任务的主类名,由用户程序内的函数指定。 org.apache.spark.examples.SparkPi --files 上传文件给作业任务,可以是自己定义的配置文件或者某些数据文件,来源可以是OBS或者HDFS。 - --jars 上传任务额外依赖的jar,通常用于给任务添加外部依赖包。 -
指定输入的文件或者输入的目录,输入的目录中如果存在当前格式则解析,如果不存在则跳过。可以指定本地文件或者目录,也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录,子文件多个的情况下使用。 例如,执行以下命令排查orc文件“hdfs://hac
参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hive-jdbc-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-jdbc
具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上,解压后进入解压目录,在客户端机器的命令行终端执行python3 setup.py install。 如下内容表示安装setuptools的47
具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上,解压后进入解压目录,在客户端机器的命令行终端执行python3 setup.py install。 如下内容表示安装setuptools的47
com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下MapReduce相关样例工程: 表1 MapReduce相关样例工程 样例工程位置
配置HDFS文件目录标签策略(NodeLabel) 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
elect Root Folder”对话框。 选择样例工程文件夹kafka-examples,单击“确定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。
/opt/clickhouse/default_test.csv 将导出的csv数据文件上传至备份服务器。 恢复数据 将备份服务器上的备份数据文件上传到ClickHouse客户端所在目录。 例如,上传default_test.csv备份文件到:/opt/clickhouse目录下。 以客户端安装用户,登录安装客户端的节点。
/opt/clickhouse/default_test.csv 将导出的csv数据文件上传至备份服务器。 恢复数据 将备份服务器上的备份数据文件上传到ClickHouse客户端所在目录。 例如,上传default_test.csv备份文件到:/opt/clickhouse目录下。 以客户端安装用户,登录安装客户端的节点。
导出Doris查询结果集 本章节主要介绍如何使用SELECT INTO OUTFILE命令,将Doris查询结果集使用指定的文件格式导出到指定的存储系统中。 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件,由远端存储系统的语义决定。 如果在导出
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令,无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错:NotServingRegionException。 原因分析 当一个block size大于2G时,hdfs在seek的时候会出现读取异常,持续频繁写入regionserver时出现了full gc,且时
ent-info.cfg 执行批量刷新“/etc/hosts”文件时,输入的客户端包可以是完整客户端,也可以是仅包含配置文件的客户端软件包,推荐使用仅包含配置文件的客户端软件包。 需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户,否则会刷新失败。 父主题:
选择“更多 >下载认证凭据”,保存后解压得到用户的user.keytab文件与krb5.conf文件。 将krb5.conf文件中Master节点对用的IP修改为对应节点绑定的弹性公网IP。并将user.keytab文件与krb5.conf文件放到工程的conf目录中。 修改MR
配置HDFS文件目录标签策略(NodeLabel) 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与