检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 HDFS写性能优化配置 参数 描述 默认值 dfs.datanode
同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以
txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。 进入客户
API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com.huawei.bigdata
同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。
ase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。 跨集群配置Hive on HBase 下载HBase配置文件到本地,并解压。 登录目的端HBase集群的FusionInsight
Hive元数据 连接类型 RDS服务PostgreSQL数据库(1.9.x版本支持) RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必
开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调
nt.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录
同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。
目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题: Flume企业级能力增强
目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题: Flume企业级能力增强
data命令导入文件数据,需执行以下操作: 根据表1数据创建文件。例如,文件名为“txt.log”,以空格拆分字段,以换行符作为行分隔符。 执行以下命令上传文件至HDFS中,例如“/tmp”目录下。 hdfs dfs -put txt.log /tmp 执行以下命令创建外部表数据存储路径: hdfs
API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com.huawei.bigdata
t.tar”为例进行描述。 上传软件包。 以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client”。 user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目
ase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。 跨集群配置Hive on HBase 下载HBase配置文件到本地,并解压。 登录目的端HBase集群的FusionInsight
少界面操作,提高效率。 Hive用户对象 MRS提供了用户和角色来使用Hive,比如创建表、在表中插入数据或者查询表。Hive中定义了“USER”类,对应用户实例;定义了“GROUP”类,对应角色实例。 使用Manager设置Hive用户对象的权限,只支持在角色中设置,用户或用户
据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。 Miranda,32 Karlie,23 Candice
t.tar”为例进行描述。 上传软件包。 以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client”。 user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目