检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下一步 > 提交”,添加实例成功。 进入FusionInsight Manager主页,单击集群的名称后的,选择“重启配置过期的实例”,等待重启实例成功。 查看重启后的各实例状态,例如TimelineServer实例的主备显示和运行状态正常。 父主题: 使用Yarn
除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger(MRS 3.x)
此在这种场景下可直接跳过本步骤。 Hive元数据导出 Hive表数据存储在HDFS上,表数据及表数据的元数据由HDFS统一按数据目录进行迁移。而Hive表的元数据根据集群的不同配置,可以存储在不同类型的关系型数据库中(如MySQL、PostgreSQL、Oracle等)。 本指导
值为“true”的自定义参数,单击“保存”,根据界面提示保存参数。 单击“实例”,勾选所有FlinkServer实例,选择“更多 > 重启实例”,根据界面提示重启FlinkServer实例。 为指定用户配置Hive行级别数据过滤,详情可参考Hive行级别数据过滤。 如为test用户在“d
API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。
自定义”,参考表4配置参数。 单击“保存”,保存配置。 在MRS集群“组件管理”页签,查看是否存在“配置超期”的组件,如果存在请单击“操作”列的“重启”,重启相关组件。 重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。
使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
Sqoop常见问题 报错找不到QueryProvider类 使用hcatalog方式同步数据,报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败
已启用Hive服务的Ranger鉴权功能,并且需要先重启Hive服务,再重启Spark服务,再启用Spark服务的Ranger鉴权。启用Spark服务的Ranger鉴权后再重启Spark服务。 已创建用户需要配置权限的用户、用户组或Role。 创建的用户已加入hive用户组。 操作步骤 使用Ranger管理员
datanode.synconclose 在存储文件过程中,系统断电或重启,如果此参数设置为false,缓存中的block数据不会被立即写入磁盘,可能会导致数据丢失。如果设置为true,可以解决断电或系统重启后的数据丢失问题,但对性能影响较大。请根据具体应用场景决定是否开启该参数。
已启用Hive服务的Ranger鉴权功能,并且需要先重启Hive服务,再重启Spark服务,再启用Spark服务的Ranger鉴权。启用Spark服务的Ranger鉴权后再重启Spark服务。 已创建用户需要配置权限的用户、用户组或Role。 创建的用户已加入hive用户组。 操作步骤 使用Ranger管理员
离线数据加载:通过Doris Catalog读取Hive外表数据并写入Doris 离线数据加载:通过Doris Catalog读取RDS-MySQL数据并写入Doris 离线数据加载:通过Spark视图读取Hive外表数据并写入Doris 离线数据加载:通过StreamLoad将本地CSV文件导入Doris
件流进行评估。 CEP SQL通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle Database 12c起由Oracle SQL支持,用于在SQL中表示事件模式匹配。CEP SQL使用举例如下: SELECT T.aid, T.bid
”,验证密码并确认操作影响后单击“确定”,等待集群启动成功。 否,单击主页上的或者“更多”,单击“重启配置过期的实例”,验证密码并确认操作影响后单击“确定”,等待服务重启成功。 重启集群或者集群内的角色实例,会造成对应服务的业务中断,请务必在业务空闲期或者确认上层业务影响可控后,再执行本操作。
管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS
否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-44000 Presto服务不可用”告警是否清除。 是,处理完毕。 否,执行步骤2中的1。 收集故障信息。 在FusionInsight
否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。 是,处理完毕。 否,执行步骤2中的1。 收集故障信息。 在FusionInsight
切换调度器期间,请勿对该集群执行操作,防止由于切换过程中修改数据库导致操作失败。 对系统的影响 切换调度器过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 切换调度器完成后,将会使用目标调度器相关参数。 操作步骤 登录FusionInsight Manager系统。选择“集群
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。
本代码样例操作流程如下: 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议,使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分: 建立连接:建立和Doris服务实例的连接。 创建库:创建Doris数据库。