检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
COMPLETED 文件传输完成后添加的后缀。 deletePolicy never 文件传输完成后源文件删除策略,never或immediate。“never”表示不删除已完成传输的源文件,“immediate”表示传输完成后立刻删除源文件。 ignorePattern ^$ 忽略文件的正则
操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚
EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:21007, hostname2:21007, hostname3:21007;修改代码中的域名;修改“用户自己申请的机机账号名称、keytab文件名称”。 用户可登录FusionInsight
COM to loader37/10.162.0.37:25000; Host Details : local host is: "loader37/10.162.0.37"; destination host is: "loader37":25000; at org
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。 在虚
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。
move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自job.properties所定义。 例如:${nameN
move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自“job.properties”所定义。 例如:${nam
tar”,继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”,获取Spark配置文件,并所有的配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。 在
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
配置HDFS文件目录标签策略(NodeLabel) 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在windows机器,配置hostname到ip的映射。具体方法为: 修改windows机器C:\Windows\System32\drivers\etc\hosts文件,增加一行hostname到ip的映射,例:10.244
HBase系统表目录或文件丢失 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在,当检测到文件或者目录不存在时,上报该告警。当文件或目录都恢复后,告警恢复。 检查内容: 命名空间hbase在HDFS上的目录。 hbase.version文件。 hbase:meta表在HDFS上的目录、
client --host 主机名/实例IP --secure --port 9440 --query="表查询语句" > 输出的csv格式文件路径 例如,如下是在ClickHouse实例10.244.225.167下备份test表数据到default_test.csv文件中。 clickhouse
client --host 主机名/实例IP --secure --port 9440 --query="表查询语句" > 输出的csv格式文件路径 例如,如下是在ClickHouse实例10.244.225.167下备份test表数据到default_test.csv文件中。 clickhouse
WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在Windows机器中配置hostname到IP地址的映射。 修改Windows机器的“C:\Windows\System32\drivers\etc\hosts”文件,增加一行hostname到IP地址的映射,保存后重新访问正常。
384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额,即限制某目录下的文件最多占用空间大小,例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件(文件大小*副本数)。 hadoop dfsadmin -setSpaceQuota
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。