检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录 多线程 设置存储策略 Colocation 开发思路 根据前述场
文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和
参数介绍具体可参见Loader连接配置说明。 单击“保存”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。另外VPC相关设置,也可能影响网络连通性。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“管理连接”。 如果集群启用了
结果,可设置hive-ext.ranger.previous.privileges.enable为true后采用show grant查看。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。
登录Manager,选择“系统设置 > 角色管理 > 添加角色”。 在“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 Yarn权限: “Cluster Admin Operations”:Yarn管理员权限。 “Scheduler Queue”:队列资源管理。 表1 设置角色 任务场景
选择“系统设置 > 权限配置 > 角色管理”。 单击“添加角色”,输入“角色名称”和“描述”。 设置角色“权限”请参见表1。 “Hive Admin Privilege”:Hive管理员权限。如需使用该权限,在执行SQL语句时需要先执行set role admin来设置权限。 “Hive
HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,判断该文件或目录是否满足设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自
最常见的无法提交任务原因是认证失败, 还有可能是参数设置不正确。 问题2: 集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中,如果提示yarn的包找不到,一般都是因为hadoop的相关配置没有设置。 问题3: 常见的场景是使用--files上传了user
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有
IoTDB应用开发规则 设置合理数量的存储组 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度从而)导致写入命令阻塞。 应根据自己的数据
MRS集群创建成功后,登录集群Manager界面的用户是什么? 答: 登录Manager的系统默认账号为admin,密码为购买集群时用户自己设置的密码。 父主题: 用户认证及权限类
HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,判断该文件或目录是否满足设置的存储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。
节点是否配置在AllowUsers 、DenyUsers等白名单或者黑名单中。 是,执行5。 否,联系OS专家处理。 修改白名单或者黑名单设置,保证omm用户在白名单中或者不在黑名单中。然后持续一段时间观察告警是否清除。 是,操作结束。 否,执行6。 查看omm密码状态。 查看ssh命令的交互信息。
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Strom应用业务步骤,打出source.jar。 操作步骤 提交拓扑(
权限。 IoTDB管理员权限:具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB”,勾选“IoTDB管理员权限”。 设置用户创建存储组的权限 在“配置资源权限”的表格中选择“待操作集群的名称
个目录分配的文件对象个数),并把每个目录实际的文件对象使用率和该目录设置的阈值相比较。当检测到租户所关联的目录文件对象使用率高于该目录的阈值时,产生该告警。 当上报告警的目录的文件对象使用率小于或等于该目录设置的阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14025
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致任务运行时申请不到内存而失败。 可能原因 BE节点内存被其他进程占用过大导致机器剩余内存不够,或BE服务最大内存上限设置过大。 处理步骤 检查BE节点设置的最大内存上限是否合理。 登录FusionInsight