正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务迁移MySQL数据至MRS集群方案如图2所示。 图2 MySQL数据迁移示意 前提条件 已经购买包含有Hive服务的MRS集群。
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中
如何修改FlumeClient的日志为标准输出日志? 登录Flume客户端安装节点。 进入Flume客户端安装目录,假设Flume客户端安装路径为“/opt/FlumeClient”,可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集,则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则: 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据(修改时间)
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中
调测HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中
HDFS对接OBS业务应用开发样例说明 对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类,即针对不同底层提供的实现类,在HDFS的配置文件中进行配置,HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示:
RS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据实际业务需要选择待创建的MRS集群类型。“自
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
Manager界面图形化的角色管理功能来管理HetuEngine数据库和表的权限,只需要设置元数据权限,系统会自动关联HDFS文件权限,减少界面操作,提高效率。 HetuEngine使用场景及对应权限 用户通过HetuEngine服务创建数据库需要加入Hive组,不需要角色授权。用户在Hiv
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
type”选择一个数据类型。 单击“Add a column”可增加新的列。 单击“Add a partition”为Hive表增加分区,可提高查询效率。 单击“Create Table”创建表,等待Hue显示Hive表的信息。 管理Hive表 访问“Metastore Manag
配置Yarn通过Guardian访问OBS 对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证,该
配置HDFS通过Guardian访问OBS 对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证,该
RS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 根据业务实际需要选择待创建的MRS集群类型。“自
配置受信任IP地址访问LDAP 操作场景 默认情况下,部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务,可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配