检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
星期,参数值为0~6,0表示星期日。 使用说明 若要在HDFS的客户端通过命令行执行mover功能,其命令格式如下: hdfs mover -p <HDFS文件全路径或目录路径> 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有s
lientConfig scp HDFS/config/* root@客户端节点IP地址:/opt/client/conf 表2 配置文件 文件名称 作用 core-site.xml 配置HDFS详细参数。 hdfs-site.xml 配置HDFS详细参数。 “conf”目录下的“log4j
IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。
调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题: HDFS开发指南
完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤
查看监控指标 操作步骤如下: 登录管理控制台。 在左侧导航栏选择“服务监控”。 图1 服务监控 父主题: 监控
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀,在某节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 原因分析 客户端安装在该节点,根据HDFS数据副本机制,第一个副本会存放在本地机器,最终导致节点磁盘被占满,而其他节点空闲很多。
0、9866端口。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下,并对hdfs-site.xml添加以下内容: <property> <name>dfs
若使用用户数据库目录,如“/user/hdfs/testdb”,需要用户具有对应目录的权限。 机机交互用户名 填写连接MRS HDFS的机机类型用户名。 上传配置文件 单击“上传文件”,上传MRS HDFS配置文件。配置文件获取请参考获取MRS HDFS配置文件。 获取MRS HDFS配置文件 获取“krb5
【HDFS WebUI】访问HDFS WebUI页面报错“重定向次数过多” 问题现象 通过Manager页面跳转HDFS WebUI页面偶现失败,报错“重定向次数过多”,此时其他组件的WebUI能正常访问。 原因分析 Knox为双活组件,运行过程中出现主备之间数据不同步问题导致。
APIG支持的监控指标 功能说明 本节定义了API网关服务上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供管理控制台或API接口来检索API网关服务产生的监控指标和告警信息。 命名空间 SYS.APIC 监控指标 表1 监控指标说明 指标ID
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 配置HDFS应用安全认证 父主题: HDFS开发指南(安全模式)
AXE模式功能详解 隐私保护通话AXE模式中,A为业务受益用户,为了保护A的真实号码不被泄露,隐私保护通话平台为A绑定一个分机主号码X和一个分机号E。 绑定关系建立后,其他用户拨打X号码再输入分机号E即可联系A用户。A用户拨打X号码可回呼之前通话用户或企业指定号码。 AXE模式下
监控指标说明 功能说明 本节定义了弹性负载均衡服务上报云监控的监控指标的命名空间,监控指标列表和维度定义。用户可以通过云监控提供的API接口来检索弹性负载均衡服务上报的监控指标以及产生告警信息。 命名空间 SYS.ELB 监控指标 表1 ELB支持的监控指标 指标ID 指标名称 指标含义
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题: HDFS开发指南(普通模式)