检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SHOW CATALOGS 语法 SHOW CATALOGS [ LIKE pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出可用的catalogs。可选参数like被用于基于关键字来进行匹配。 示例 列出所有catalogs： SHOW CATALOGS;
剪切字符串 概述 “剪切字符串”算子，截取已有字段的值，生成新的字段。 输入与输出 输入：需要截取的字段 输出：截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
针对原因二：先停掉后台使用该Topic的应用程序，或者“auto.create.topics.enable”配置为“false”（需要重启Kafka服务），然后再做删除操作。 父主题： Kafka常见问题
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错： 回答 修改hive-site.xml，加入如下值。 父主题： Sqoop常见问题
使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表，其分区字段为非string类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCa
字符串大小写转换 概述 “字符串大小写转换”算子，用于配置已生成的字段通过大小写变换，转换出新的字段。 输入与输出 输入：需要转换大小写的字段 输出：转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息：
创建ClickHouse表 本章节介绍创建ClickHouse表样例代码。 通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。 示例代片段参考如下： private void createTable(String
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 示例代片段参考如下： String insertSql = "insert into " + databaseName
取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。
HDFS调用FileInputFormat的getsplit的时候出现数组越界 问题 HDFS调用FileInputFormat的getSplit方法的时候，出现ArrayIndexOutOfBoundsException: 0，日志如下： java.lang.ArrayInde
Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压
ROLL_BACK 命令功能 用于回滚指定的commit。 命令格式 call rollback_to_instant(table => '[table_name]', instant_time => '[instant]'); 参数描述 表1 参数描述 参数 描述 table_name
SHOW_COMMIT_FILES 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看指定的instant一共更新或者插入了多少个文件。 命令格式 call show_commit_files(table=>'[table]', instant_time=>'[instant_time]'
SHOW FUNCTIONS 语法 SHOW FUNCTIONS [LIKE pattern [ESCAPE escapeChar]]; SHOW EXTERNAL FUNCTIONS; SHOW EXTERNAL FUNCTION qualified_function_name;
START TRANSACTION 语法 START TRANSACTION [ mode [, ...] ] 其中mode用于设置事务的隔离级别，可选的参数有： ISOLATION LEVEL { READ UNCOMMITTED | READ COMMITTED | REPEATABLE
REFRESH SCHEMA 语法 REFRESH SCHEMA schema_name 描述 用于刷新SCHEMA元数据缓存。 示例 refresh schema default; REFRESH 父主题： HetuEngine辅助命令语法
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错。 回答 修改hive-site.xml，加入如下值。 父主题： Sqoop常见问题
DROP SCHEMA 语法 DROP (DATABASE|SCHEMA) [IF EXISTS] databasename [RESTRICT|CASCADE] 描述 DATABASE和SCHEMA在概念上是等价可互换的。 该语法用于删除数据库databasename，如果目标
写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
