检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Hive应用 Hive样例程序开发思路 创建Hive表 加载Hive数据 查询Hive数据 分析Hive数据 开发Hive用户自定义函数 父主题: Hive开发指南
erver,来访问SparkSQL的数据。 增强特性 对比开源社区,MRS还提供了两个增强特性,ThriftServer HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主
云硬盘信息保持一致。 同步MRS集群节点磁盘约束条件 同步磁盘信息功能仅支持同步云硬盘信息,不支持同步本地盘信息。 正在进行磁盘信息同步的集群不支持扩容、缩容、升级规格等操作。 同步磁盘信息 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
Ranger故障排除 安装集群过程中Ranger启动失败 配置HBase权限策略时无法使用通配符搜索已存在的HBase表 父主题: 使用Ranger
DDS集群持续写入数据后查询报错怎么处理 问题描述 DDS集群持续写入数据,写入后查询报错。 示例: W SHARDING [Balancer] Failed to enforce tag ranges :: caused by :: ExceededTimeLimit: Unable
购买批量数据迁移增量包 批量数据迁移增量包对应数据集成CDM集群。 通过购买一个按需计费方式的批量数据迁移增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 通过购买一个套餐包方式的批量数据迁移增量包,系统不自动创建CDM集群,而是在生效期内的每个计费月内按月提供745
华为云ECS自建数据库到华为云 同Region同VPC,通过VPC网络接入华为云 同Region不同VPC,通过VPC网络接入华为云 不同Region,通过公网网络接入华为云 不同Region,通过VPN网络接入华为云
对接Redis实现数据存储 通过应用与Redis对接,实现数据存储功能。 前提条件 已获取Redis提供服务的URL地址和登录密码。 新建Redis连接器 参考创建连接器入口中操作,进入创建连接器页面。 在左侧列表中,选择“数据库 > Redis”,单击“+”。 图1 新建Redis
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件
解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IA
标注ModelArts数据集中的数据 数据标注场景介绍 通过人工标注方式标注数据 通过智能标注方式标注数据 通过团队标注方式标注数据 管理标注作业 父主题: 数据准备与处理
单击“历史版本”可根据集群版本下载相应版本的Data Studio工具,建议按集群版本下载配套的工具。 图1 下载客户端 如果同时拥有不同版本的集群,系统会弹出对话框,提示您选择“集群版本”然后下载与集群版本相对应的客户端。在“集群 > 专属集群”页面的集群列表中,单击指定集群的名称,再选择“集群详情”页签,可查看集群版本。
在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或
Object 是 数据库信息。详情请参见表3。 region String 是 区域ID。 取值:非空,请参见地区和终端节点。 availability_zone String 是 可用区ID。参见查询数据库规格接口中返回的az_status ,可以选择多个AZ,创建跨AZ的集群。 取值:非空,请参见地区和终端节点。
操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1
是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统关系型数据库所具备的ACID
如果委托不存在时执行接下来的步骤创建委托 单击步骤2界面中的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,委托类型选择“云服务”,输入“RFS”,单击“下一步” 图4 创建委托 在搜索框中输入”Tenant Administrator”权限,并勾选搜索结果 图5 选择策略
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 源端与目标端字