检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能，可参考如何创建FlinkServer作业。 SQL示例： CREATE TABLE datagen1 ( id int, f1 int,
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
解决管控面提交Flink作业打印敏感日志的问题。 解决Hudi到DWS任务unknown以及无法删除问题。 解决Hudi filegroup下只有一个4bytes文件时，Hudi读写报错的问题。 解决CDL定时线程增加异常保护，防止线程异常，告警不上报的问题。 解决CDL解密环境变量冲突，导致升级时hudi源任务运行失败的问题。
创建Loader数据导入作业 使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase
HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为
HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为
Mapreduce应用开发建议 全局使用的配置项，在“mapred-site.xml”配置文件中指定。 如下示例给出接口所对应的“mapred-site.xml”中的配置项。 示例： setMapperClass(Class <extends Mapper> cls) ->“mapreduce
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
r的业务进行恢复，恢复过程中包括拆分WAL文件。在WAL文件拆分过程中，会产生大量的小文件，可能造成HDFS的性能瓶颈，导致服务恢复时间过长。 本功能主要在拆分过程中将原本的小文件写入到HAR文件中，旨在减少拆分WAL过程中产生的小文件，从而缩短RegionServer恢复时长。
单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。
数据导出 概述 使用Loader导出数据 典型场景：从HDFS/OBS导出数据到SFTP服务器 典型场景：从HBase导出数据到SFTP服务器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize 分区下文件总大小 maxFileSize 最大文件大小 minFileSize 最小文件大小 lastAccessTime 最后访问时间 lastUpdateTime
SHOW_INVALID_PARQUET 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看执行路径下损坏的parquet文件。 命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填
经由NettyServerHandler发送出去。 另外，NettyServer的端口及子网需要在“flink-conf.yaml”配置文件中配置： 端口范围 nettyconnector.sinkserver.port.range: 28444-28943 子网 nettyconnector
Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID，返回的页面提示Error Occurred。 回答 用户提交查看applic
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
自定义Hive表行分隔符 操作场景 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi
female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
