-
使用Loader导出MRS集群内数据 - MapReduce服务 MRS
r。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 创建Loader数据导出作业,单击“新建作业”,在“1.基本信息”选择所需要的作业类型,然后单击“下一步”。
-
LOAD DATA - MapReduce服务 MRS
表3 MAXCOLUMNS 可选参数名称 默认值 最大值 MAXCOLUMNS 2000 20000 表4 MAXCOLUMNS可选参数的行为图 MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定 5 2000 在加载项中未指定 6000 6000
-
更新客户端(3.x之前版本) - MapReduce服务 MRS
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户:
-
批量写入Hudi表 - MapReduce服务 MRS
示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文
-
更新客户端(3.x之前版本) - MapReduce服务 MRS
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户:
-
使用Loader导出数据 - MapReduce服务 MRS
> 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 创建Loader数据导出作业,单击“新建作业”,在“1.基本信息”选择所需要的作业类型,然后单击“下一步”。
-
批量写入Hudi表 - MapReduce服务 MRS
示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文
-
使用ZooKeeper客户端 - MapReduce服务 MRS
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。 在MRS控制台,选择“现有集群”,单击集群名称,在“节点管理”页签中查
-
Flink Stream SQL Join Java样例代码 - MapReduce服务 MRS
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
-
备份Manager数据 - MapReduce服务 MRS
有访问OBS的权限。 操作步骤 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 图1 创建备份任务 在“任务名称”填写备份任务的名称。 设置“备份对象”为“OMS”。 在“备份类型”选择备份任务的运行类型。 “周期备份”表
-
添加MySQL数据源 - MapReduce服务 MRS
HetuEngine支持对接MySQL操作的SQL语法:SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。 HetuEngine支持的MySQL数据源的Schema和Table名称不区分大小写。 不支持在具有CHAR或VARCHAR等文本类型的列上下推任何谓词。
-
恢复Manager数据 - MapReduce服务 MRS
“备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 选择“运维 > 备份恢复 > 恢复管理 > 创建 ”。 图1 创建恢复任务 在“任务名称”填写恢复任务的名称。 在“恢复对象”选择“OMS”。 勾选“OMS”。 在“OMS”的“路径类型”,选择一个备份目录的类型。
-
快速使用Hive进行数据分析 - MapReduce服务 MRS
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 MRS3.x及后续版本,操作如下: 登录FusionInsight Manager页面,具体请参见访问FusionInsight
-
快速使用HBase进行离线数据分析 - MapReduce服务 MRS
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。 在集群详情的“节点信息”页签中查看节点名称,名称中包含“master1”
-
MRS 3.1.0版本补丁说明 - MapReduce服务 MRS
HBase: 解决HMaster堆内存使用监控数据上报到CES 超过100%问题; Ranger: 解决只给视图权限不给表的权限时,sparksql无法查询视图的问题; 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.10补丁包中已包含所有MRS
-
聚合函数 - MapReduce服务 MRS
(where price<10) from fruit;-- [peach, apple] 常用聚合函数 聚合函数通常作用于数据集(表或视图)的某个具体字段,以下的参数x,均用于代指该字段。 arbitrary(x) 描述:返回类型和X 一样,返回X的任意一个非null值。 select
-
数学函数和运算符 - MapReduce服务 MRS
width_bucket(x, bound1, bound2, n) → bigint 在具有指定bound1和bound2边界以及n个存储桶的等宽直方图中返回x的容器数量 select value,width_bucket(value,1,5000,10) from (values (1),(100)
-
配置Flink应用安全认证 - MapReduce服务 MRS
登录Manager,下载认证凭据。 登录集群的Manager界面,选择“系统 > 权限 > 用户”,在已增加用户所在行的“操作”列,选择“更多 > 下载认证凭据”。 图1 下载认证凭据 将下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节点中,例如客户端节点的“/opt/hadoopclient/Fl
-
ALM-12033 慢盘故障 - MapReduce服务 MRS
第二次采集的数据中,第4列的数字是“rd_ios_new”,第8列的数字是“wr_ios_new”,第13列的数字是“tot_ticks_new”。 则上图中svctm值为: (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856)
-
使用Loader导入数据 - MapReduce服务 MRS
> 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 创建Loader数据导入作业,单击“新建作业”,在“1.基本信息”选择所需要的作业类型,然后单击“下一步”。