检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。
状态,无法正常提供服务。 登录故障RegionServer所在节点,jps查看RegionServer进程没有启动,在Manager上手动重启故障的RegionServer实例失败,查看对应RegionServer节点/var/log/Bigdata/hbase/rs/hbase
e”。 单击“保存”,单击“确定”保存配置。 单击“实例”,勾选受影响的FE实例,选择“更多 > 重启实例”,输入当前用户密码并单击“确定”,重启FE实例使配置生效。 在MySQL客户端连接Doris后,执行以下命令即可查看Doris已执行的慢查询语句: select * from
的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1:创建MRS Hive集群并配置 步骤2:创建MRS Doris集群并配置 步骤3:创建Doris Catalog并将Hive外表数据写入Doris 步骤1:创建MRS Hive集群并配置 创建MRS集群,详细操作请参考快速购买MRS集群。其中:
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录,并将数据文件的权限设置成660。 为了满足每天分析一次的需求,需要每天重复执行一次1.a~1.b。 业务实现。
用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。设置为“p
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用
离线数据加载 操作流程 步骤1:创建MRS集群并配置 步骤2:在CDM创建Hive和Doris连接 步骤3:Hive外表数据通过CDM迁移到Doris 约束与限制 DataArts Studio实例、CDM集群、MRS集群需要具有相同的“虚拟私有云”和“安全组”。 步骤1:创建MRS集群并配置
要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/l
ht Manager,修改该用户初始密码。 登录安装了MySQL客户端的节点,使用新创建的用户及修改后的密码连接Doris服务。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -udorisuser -p -PFE查询连接端口 -hDoris
X,请执行搬迁前务必确认是否支持搬迁。 方案架构 Hive数据迁移分两部分内容: Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService组件,也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。
中。 图1 实时数据加载 操作流程 步骤1:创建MRS Flink集群并配置 步骤2:创建MRS Doris集群并配置 步骤3:准备数据 步骤4:创建Flink SQL作业 步骤5:Kafka数据通过FlinkSQL实时同步到Doris 步骤1:创建MRS Flink集群并配置
'url' = 'jdbc:mysql://MySQL的服务器IP:MySQL的服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode进入安全模式后,该NameNode不可写入。 可能原因 用户手动进入安全模式或重启NameNode时存在丢块。 处理步骤 检查NameNode节点是否进入安全模式。 登录FusionInsight Manager页面,选择“运维 > 告警 >
onnector来说,Map任务分区更均匀,并且不依赖区分列是否有创建索引。 mysql-fastpath-connector:MySQL数据库专用连接器,使用MySQL的mysqldump和mysqlimport工具进行数据的导入导出,相对generic-jdbc-connector来说,导入导出速度更快。
对系统的影响 正在运行的调度任务会阻塞,无法提交新的调度任务。在HA模式下,Oozie服务会重启。 可能原因 ZooKeeper服务异常。 Oozie连接ZooKeeper异常。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager的服务列表中
ve服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8,需要重启MRS 3.1.0.0.8补丁的
留的队列。 对系统的影响 脚本运行过程中会重启controller服务,同步Yarn的配置,并重启主备ResourceManager实例。 重启controller服务时,无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后,Y
使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop