检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EL操作转换 概述 “EL操作转换”算子,对字段值进行运算后生成新的字段,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入:需要转换的字段 输出:经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
err.log ClickHouseServer服务运行错误日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/checkService.log ClickHouseServer服务运行关键日志文件路径。 /var/log/Bi
> ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值 作用 merge_tree.max_replicated_merges_with_ttl_in_queue CPU核数一半
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
DataNode概率性出现CPU占用接近100%导致节点丢失 问题背景与现象 DataNode概率性出现CPU占用接近100%,导致节点丢失(ssh连得很慢或者连不上)。 图1 DataNode出现CPU占用接近100% 原因分析 DataNode有许多写失败的日志。 图2 DataNode写失败的日志
preStart.log Loader服务的预启动脚本日志。Loader服务启动时,需要先执行一系列的准备操作(preStart.sh),例如生成keytab文件等,该日志正是记录了这些操作信息。 loader_ctl.log Loader执行服务启停脚本(sqoop.sh)的日志。
ALTER TABLE 修改表结构时,针对聚合模型和非聚合模型的修改方式不同;针对Key列和Value列的修改方式也不同。其中: 建表时指定AGGREGATE KEY时,为聚合模型;其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
创建IoTDB用户自定义函数(UDF) IoTDB UDF概述 运行IoTDB UDF样例程序 父主题: 使用IoTDB
Hudi CALL COMMAND语法说明 CHANGE_TABLE CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES SAVE_POINT ROLL_BACK CLUSTERING Cleaning Compaction SHOW_COMMIT_FILES
间。 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
配置场景 当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP,可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实
当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionIns
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
Hue WebUI有配置账号权限的功能吗? 问: MRS集群内的Hue WebUI界面中有配置账号权限的功能吗? 答: Hue WebUI界面服务没有配置账号权限的功能。 用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限,从而实现Hue权限的配置。 父主题:
态资源、存储资源以及所关联的服务。 创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户 可配置待添加租户的计算资源、存储资源和关联服务。 添加子租户 可配置待添加子租户的计算资源、存储资源和关联服务。 添加用户并绑定租户的角色
MRS 3.1.0 运维通道补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息 父主题: MRS集群补丁说明
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
单表并发控制配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider,不建议使用默认值,使用org.apache.hudi.hive.HiveMetastoreBasedLockProvider org.apache.hudi