检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xx-hw-xx.jar、mrs-obs-provider-xxx.jar,并放到程序的classpath路径下,并修改jar包文件权限和属主。 父主题: 存算分离常见问题
然后单击,进入“文件浏览器”页面。您可以进行以下操作。 查看文件和目录 默认显示登录用户的目录及目录中的文件,可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。 单击文件名,可查看文本文件的文本信息或二进制数据。支持编辑文件内容。 如果文件和目录数量比较多,可以在搜索框输入关键字,搜索特定的文件或目录。
API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用: http://hadoop.apache.org/docs/r3.1.1/hadoop-ya
“pwd_min_len”和“pwd_char_types”分别表示当前用户密码策略“最小密码长度”和“密码字符类型数目”,“Admin@123Test#$%@123”为修改系统域名后的“人机”用户密码。 修改系统域名后,重置后的密码由系统生成部分和用户设置部分组成,且必需满足
se导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
se导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器数据导出目录的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
ALM-38001 Kafka磁盘容量不足 告警解释 系统按60秒周期检测Kafka磁盘空间使用率,并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”,在服务列表下面,选择“Kafka
开发和部署HetuEngine Function Plugin 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17
debug=true; }; 参数keyTab和principal根据实际情况修改。 从/opt/FusionInsight_Cluster_<集群ID>_Flume_ClientConfig/Flume/config目录下获取core-site.xml和hdfs-site.xml配置文件,
在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择MRS服务,进入MRS主界面,单击右上角“购买集群”,尝试购买MRS集群,如果无法购买MRS集群(假设当前权限仅包含MRS ReadOnlyAccess),表示“MRS
命令free -g和cat /proc/cpuinfo,查询节点可用内存和可用CPU,据此在FusionInsight Manager界面增大Yarn NodeManager的资源参数“yarn.nodemanager.resource.memory-mb”和“yarn.nodemanager
修改主机机架名称,将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka,使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载(包括CPU、内存、磁盘、网络)不平衡,降低集群的可靠性,影响集群的
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
HBase表 HBase的表是三个维度排序的映射。从行主键、列主键和时间戳映射为单元格的值。所有的数据存储在HBase的表单元格中。 列 HBase表的一个维度。列名称的格式为“<family>:<label>”,<family>和<label>为任意字符组合。表由<family>的集合组
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
er对接HBase。 当HBase与Flink不在同一集群或不互信的集群,则只支持Flink和HBase均为普通模式集群的对接。 前提条件 集群已安装,包括HDFS、Yarn、Flink和HBase。 包含HBase服务的客户端已安装,安装路径如:/opt/client。 创建作业步骤
迁移数据时旧版本集群应为MRS1.5及其以前的版本,新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群需配置跨集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表
Alluxio常用操作 前期准备 创建安装Alluxio组件的集群。 以root用户登录集群的主Master节点,密码为用户创建集群时设置的root密码。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env 使用Alluxio Shell Alluxio