检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则,内存和CPU核心的比例2:1,堆外内存和CPU核心比例0.5:1;即一个核心,需要2G堆内存,0.5G堆外内存 Spark初始化入库场景,由于处理的数据量比较大,上述资源配比需要调整,内存和Core的比例
HetuEngine DML SQL语法说明 INSERT DELETE UPDATE LOAD 父主题: HetuEngine常见SQL语法说明
HetuEngine TCL SQL语法说明 START TRANSACTION COMMIT ROLLBACK 父主题: HetuEngine常见SQL语法说明
HetuEngine DQL SQL语法说明 SELECT WITH GROUP BY HAVING UNION | INTERSECT | EXCEPT ORDER BY OFFSET LIMIT | FETCH FIRST TABLESAMPLE UNNEST JOINS Subqueries
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
jor compaction生成新的HFile文件。 操作步骤 登录集群的FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,进入HBase配置界面。 在搜索框中搜索并修改表1中的配置,开启Succinct Trie特性。 表1 Succinct
配置Doris多租户 Doris多租户介绍 管理Doris租户 Doris多租户监控告警介绍 父主题: Doris企业级能力增强
HetuEngine DDL SQL语法说明 CREATE SCHEMA CREATE VIRTUAL SCHEMA CREATE TABLE CREATE TABLE AS CREATE TABLE LIKE CREATE VIEW CREATE FUNCTION CREATE
配置HBase冷热分离 配置HBase冷热数据分离存储 HBase冷热分离相关命令介绍 父主题: HBase企业级能力增强
当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionIns
Phoenix BulkLoad Tool使用限制说明 问题 当更新索引字段数据时,如果用户表已经存在一批数据,则BulkLoad工具不能更新全局和局部可变索引。 回答 问题分析 创建表。 CREATE TABLE TEST_TABLE( DATE varchar not null
err.log ClickHouseServer服务运行错误日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/checkService.log ClickHouseServer服务运行关键日志文件路径。 /var/log/Bi
ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
间。 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
Loader输出类算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: Loader算子帮助
preStart.log Loader服务的预启动脚本日志。Loader服务启动时,需要先执行一系列的准备操作(preStart.sh),例如生成keytab文件等,该日志正是记录了这些操作信息。 loader_ctl.log Loader执行服务启停脚本(sqoop.sh)的日志。
性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 HDFS写性能优化配置 参数 描述 默认值 dfs.datanode
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库