正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句中涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
SparkSql作业用于查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引,HBase提供了可通过MapReduce功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。具体使用场景如下: 在表中预先存在大量数据的情况下,可能希望在某个列
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
取结果,本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1
作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据,是一种分布式数据处理模式。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 connector_id 否 String 参数解释: 连接ID。获取方法,请参见获取连接ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异,具体操作详情以实际版本对应的操作指导为准。
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
在“企业项目”中选择已有的项目,或者单击“新建企业项目”,在“企业项目管理”界面创建好企业项目后再进行添加。 在“标签”填写“标签键”和“标签值”,用于标识云资源,可对云资源进行分类和搜索。 向主题添加订阅 要接收发布至主题的消息,您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
数目。 支持日志在线检索和日志收集。 支持在线检索ClickHouse日志内容。 登录FusionInsight Manager界面,访问“运维 > 日志 > 在线检索”,在“服务”中选择“ClickHouse”,“检索内容”填写日志检索关键字,通过“检索”在线检索ClickHouse日志内容。
描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
生成Flume服务端和客户端的配置文件 该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。