检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 技术专题 技术、观点、课程专题呈现 深入解密MRS技术 从MRS介绍、特性及实战维度,帮助您了解和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于
用于描述一行数据中不同的字段。 Column可以分为两大类:Key和Value。从业务角度看,Key和Value可以分别对应维度列和指标列。从聚合模型的角度来说,Key列相同的行,会聚合成一行。其中Value列的聚合方式由用户在建表时指定。 Tablet&Partition 在Do
uce、Kafka、Hive、HBase、Spark、Presto以及相关依赖服务。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 1.9.3.8打补丁升级到MRS 1.9.3.9,需要重启MRS 1.9.3.9补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。
安装集群客户端 安装包含HetuEngine服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 准备GBase驱动 从GBase官网获取GBase驱动文件,格式为“xxx.jar”,需为“gbase-connector-java-9.5.0.1-build1-bin
基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。 高级:需配置如下参数。 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对
-setLabelExpression -expression 'LabelA[fallback=NONE]' -path /Hbase命令,给Hbase目录设置表达式。从图1中可知,“/Hbase”文件的数据块副本会被放置在有LabelA标签的节点上,即DN1、DN2、DN3、DN4。同理,通过hdfs nodelabel
-setLabelExpression -expression 'LabelA[fallback=NONE]' -path /Hbase命令,给Hbase目录设置表达式。从图1中可知,“/Hbase”文件的数据块副本会被放置在有LabelA标签的节点上,即DN1、DN2、DN3、DN4。同理,通过hdfs nodelabel
使用DistCp将本集群HBase、HDFS和Hive数据备份在备集群HDFS中以后,本集群HDFS保留了备份数据的快照。用户可以通过创建本地快速恢复任务,直接从本集群HDFS的快照文件中恢复数据。 NAS(MRS 3.x及之后版本) NAS(Network Attached Storage)是一种特
HoodieMultiTableDeltaStreamer流式写入仅适用于MRS 3.2.0及之后版本。 HoodieDeltaStreamer支持从多种类型的源表抓取数据写入Hudi目标表,但是HoodieDeltaStreamer只能完成一个源表更新一个目标表。而HoodieMulti
用户是文件属主,且用户对文件拥有“读”、“写”和“执行”权限,同时对此文件上层的每一级目录拥有“读”和“执行”权限。 说明: 使用load从Linux本地磁盘导入数据时,文件需上传到执行命令的HiveServer并修改权限。建议使用客户端执行命令,可查看客户端连接的HiveServer。例如,Hive客户端显示“0:
Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel) 从TCP源主机:端口创建一个输入流。 start() 启动Spark Streaming计算。 awaitTermination(timeout)
keytab方式:需要从管理员处获取一个“人机”用户,用于登录FusionInsight Manager平台并通过认证,并且获取到该用户的keytab文件。 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周
Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel) 从TCP源主机:端口创建一个输入流。 start() 启动Streaming计算。 awaitTermination(timeout) 当前进程等待终止,如Ctrl+C等。
用于描述一行数据中不同的字段。 Column可以分为两大类:Key和Value。从业务角度看,Key和Value可以分别对应维度列和指标列。从聚合模型的角度来说,Key列相同的行,会聚合成一行。其中Value列的聚合方式由用户在建表时指定。 Tablet&Partition 在Do
/预留资源。 默认资源池容量 (%) 配置当前租户在默认资源池中使用的计算资源百分比,取值范围0~100%。 权重 资源分配权重,取值范围从0到100。 最小资源 保证租户资源能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时,资源会自动借
Location”单击,在HDFS中选择一个用于创建Hive表文件。此文件将存储Hive表的新数据。 如果文件未在HDFS中保存,可以单击“Upload a file”从本地选择文件并上传。支持同时上传多个文件,文件不可为空。 如果需要将文件中的数据导入Hive表,选择“Import data”作为“Load
首次安装客户端会生成名为flume-client的子目录,之后安装会依次生成名为“flume-client-n”的子目录,n代表一个序号,从1依次递增。在Flume客户端安装目录下的conf目录中,编辑ENV_VARS文件,搜索FLUME_LOG_DIR属性,可查看客户端日志路径。
筛选出停留总时间大于两个小时的女性网民信息。 功能介绍 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为三个部分。 从原文件中筛选女性网民上网时间数据信息,通过类CollectionMapper继承Mapper抽象类实现。 汇总每个女性上网时间,并输出时间大
Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel) 从TCP源主机:端口创建一个输入流。 start() 启动Spark Streaming计算。 awaitTermination(timeout)
有GLOBAL_SORT_PARTITIONS生效。 RANGE_COLUMN合并默认使用LOCAL_SORT。 使用场景 可使用下列语句从CSV文件加载CarbonData table。 LOAD DATA INPATH 'folder path' INTO TABLE tablename