检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备HBase应用开发和运行环境。
显示“浏览文件夹”对话框。 选择文件夹“impala-examples”。Windows下要求该文件夹的完整路径不包含空格。 单击“Finish”。
查看文件和目录 默认显示登录用户的目录及目录中的文件,可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。 单击文件名,可查看文本文件的文本信息或二进制数据。支持编辑文件内容。 如果文件和目录数量比较多,可以在搜索框输入关键字,搜索特定的文件或目录。
例如,您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置OBS访问权限的委托,实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略,并创建一个绑定该策略权限的委托。
需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文件及文件夹的权限和属主/组信息,可通过如下HDFS客户端命令导出。
图2 DataNode写失败的日志 短时间内写入大量文件导致这种情况,因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置,以及机器剩余内存是否充足。 增加DataNode内存,并重启DataNode。
解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多,如果很多,减少文件数量,提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。
简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS。
ALM-12063 磁盘不可用 告警解释 系统每一个小时,整点检查一次当前主机的磁盘是否可用,只检查数据盘,在磁盘对应的挂载目录下执行创建文件,写文件和删文件等操作,如果能够成功则认为磁盘可用,发送恢复告警,如果不能成功,则发送故障告警。
查看客户端的配置文件“conf/flink-conf.yaml”。 修改配置项“high-availability.zookeeper.path.root”对应的ZooKeeper目录,例如:/flink2。 重新提交任务。 父主题: Flink应用开发常见问题
为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足?
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性,如下样例代码设置socket超时时间为60s。
显示“浏览文件夹”对话框。 选择文件夹“hive-examples”,如图1所示。Windows下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。
导致列出文件目录超时。
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。
原因分析 DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”这个文件监控。其中XXX是产品版本号。
运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败,查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中,方便后面获取。
不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题: Flink常用API介绍