检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
它提供了对这一批次的“Row”进行随机访问和迭代访问的接口。可以选择在一次“transform”方法调用中输出任意数量的数据点,需要注意的是,输出数据点的类型必须与在“beforeStart”方法中设置的一致,而输出数据点的时间戳必须是严格单调递增的。 下面是一个实现了“void
sr/bin/openssl。 动态库依赖libcrypto.so.1.1无法找到。 如果集群为3.2.0及之前版本,可能在执行操作前执行了配置环境变量的命令(例如source bigdata_env),或修改了环境变量。3.2.0之后版本已修复该问题。 处理步骤 以omm用户通过主管理节点IP登录主管理节点。
HBase同步数据到CSS为什么没有映射字段? 问: HBase同步数据到CSS为什么没有映射字段? 答: 从MRS的HBase同步数据到CSS服务后,整库没有映射字段,要单表才有映射的字段。 父主题: 周边生态对接类
需确保集群资源充足。单租户多实例需要的资源为单实例资源*实例个数(每个计算实例的规格一致,不支持差异化配置)。 需使用短连接方式,并以HSFabric模式连接HetuEngine,该模式支持更优的负载均衡调度能力。 1 取值范围:1-50 配置“Coordinator容器资源配置”,参数配置请参考表2。 表2
Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能,其他相关配置可参考Yarn模式下动态资源调度。 登录FusionInsight Manager,选择“集群 > 服务 > Spark > 配置 > 全部配置”。在搜索框中输入“spark
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
否,执行11。 数据倾斜,需要均衡集群中的数据。以root用户登录MRS客户端,用户密码为安装前用户自定义,请咨询系统管理员。如果集群为普通模式,执行su - omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每
为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 问题 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 回答 Spark SQL对
统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 - 计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。 基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。
删除表 本章节主要介绍Iceberg删除表的SQL基本语法和使用说明。 基本语法 DROP TABLE [db_name.]table_name [PURGE]; DROP TABLE命令默认只删除元数据,不删除数据,需指定PURGE参数后才会删除数据。 使用示例 删除表元数据:
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred Superior调度模式下,单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred Superior调度模式下,单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行
Eclipse工具,请根据指导完成不同语言的开发环境配置。 Impala应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,还提供了从建表、数据加载到数据查询的样例工程。 Impala样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。
能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2.0-LTS.1.8补丁说明
能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2.0-LTS.1.10补丁说明
API以外的其他接口,可通过此接口查询信息,具体请参考Alluxio API接口介绍。 Namespace 透明命名机制:保证了Alluxio和底层存储系统的命名空间是一致的。 统一命名空间:Alluxio提供了一个挂载API,通过该API能够在Alluxio中访问多个数据源中的数据。 父主题: Alluxio应用开发概述
HetuEngine隐式转换对照表 在开启隐式转换功能后,当数据类型不匹配时会隐式转换,但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表: 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 回答 转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\
能省略。 补丁安装后操作不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.1.0.0.16补丁说明