检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据分布设计 Shard和副本概念介绍 图1 ClickHouse集群架构图 从横向来看ClickHouse数据库集群,所有数据都会平均分布到多个shard分片中进行保存,数据平均分布后,保证了查询的高度并行性,以提升数据的查询性能。 从纵向来看,每个shar
在“Database”右侧下拉列表选择一个SparkSql中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。
es/storm-examples/lib”中获取如下jar包: storm-hbase-<version>.jar storm-autocreds-<version>.jar IntelliJ IDEA代码样例 创建Topology。 public static void main(String[]
在“Database”右侧下拉列表选择一个SparkSql中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面:
配置并导入Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表或列所在的行,单击 可以查看详细信息。 在HQL语句编辑区输入查询语句。
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
行二次筛选,具体字段如表3所示。填写完毕后,单击“过滤”进行检索,单击“重置”可清空已填写信息。 表3 过滤 参数名 说明 关键字 需要检索的日志关键字。 主机名称 需要检索的主机名。 位置 所需检索的日志文件路径。 开始时间 所需检索日志信息的开始时间。 结束时间 所需检索日志信息的结束时间。
物化视图上线前,需做好充分验证。 规则 物化视图(Materialized View)显式指定聚合表。 在创建物化视图时,使用TO关键字为物化视图指定数据存储表。 如果不显示指定聚合表,则会创建隐式表.inner.mv1,与物化视图绑定。 用于数据预聚合的物化视图,聚合表使用聚合引擎。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
成长地图 | 华为云 MapReduce服务 MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图
0或更高版本中支持更新数据库位置。 Hive和Calcite具有不同的保留关键字。例如default在Calcite中是保留关键字,在Hive中是非保留关键字。所以在使用Hive dialect时,必须使用反引号(`)引用此类关键字,才能将其用作标识符。 在Hive中不能查询在Flink中创建的视图。
cd /var/log/Bigdata/hdfs/dn/ vim hadoop-omm-datanode-主机名.log 在日志中搜索关键字“slow”,确认发生慢操作的磁盘信息。 根据获取到的磁盘信息,参考“ALM-12033 慢盘故障”告警处理步骤进行处理。 等待5分钟,检查该告警是否恢复。
OBS全路径长度小于等于255字符。 HDFS路径地址说明: 目录和文件名称可以包含中文、字母、数字、中划线和下划线,但不能包含;|&>,<'$*?\:特殊字符。 目录和文件名称不能以空格开头或结尾,中间可以包含空格。 HDFS全路径长度小于等于255字符。 单击“确定”。 文件上
数值至系统默认值,单击图标可查看该配置项的历史修改记录。 配置参数较多时,可通过界面右上角的服务过滤框进行筛选,或者在搜索框中直接搜索关键字。 如需修改配置项参数值,根据参数描述修改配置后,单击“保存”,在弹出的窗口中单击“确定”。 查看所有非统一值: 单击“所有非统一值”,界面
单击,在“Databases”下选择一个数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在HiveQL语句编辑区输入查询语句。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
在设置组件的权限时,可通过右上角的“搜索”框输入资源名称,然后单击搜索图标显示搜索结果。 搜索范围仅包含当前权限目录,无法搜索子目录。搜索关键字支持模糊搜索,不区分大小写。 对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需