检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
父主题: MRS应用开发开源jar包冲突列表说明
删除Manager用户 功能简介 通过访问Manager接口完成删除用户。 代码样例 以下代码片段是删除用户的示例,在“rest”包的“UserManager”类的main方法中。
配置MapReduce集群管理员列表 配置场景 该功能主要用于指定MapReduce集群管理员。 其中,集群管理员列表由参数“mapreduce.cluster.administrators”指定,集群管理员admin具有所有可以操作的权限。
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时,提示用户无权限“User do not have right to access cluster
MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark2x
配置MapReduce集群管理员列表 配置场景 该功能主要用于指定MapReduce集群管理员。 其中,集群管理员列表由参数“mapreduce.cluster.administrators”指定,集群管理员admin具有所有可以操作的权限。
父主题: MRS应用开发开源jar包冲突列表说明
父主题: MRS应用开发开源jar包冲突列表说明
父主题: MRS应用开发开源jar包冲突列表说明
图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。
在spark-beeline中创建或删除表失败 用户问题 客户在spark-beeline频繁创建和删除大量用户的场景下,个别用户偶现创建/删除表失败。
图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败,父目录可以看见此文件(不可见字符)。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常,写入了不可见字符。可以将该文件名重定向写入本地文本中,使用vi命令打开。
父主题: MRS应用开发开源jar包冲突列表说明
父主题: MRS应用开发开源jar包冲突列表说明
图1 用户管理 在要删除用户所在的行,选择“更多 > 删除”。 图2 删除用户 单击“确定”完成删除操作。
父主题: MRS应用开发开源jar包冲突列表说明
使用HDFS异步删除特性 操作场景 HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。
cd Kafka/kafka/bin 执行以下命令,针对Topic修改配置和删除配置。