检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确认是该条SQL对表的操作,所有列的字节长度超过4000的限制,导致SQL执行失败,需要修改该限制。 处理步骤 以root用户登录集群任意一个Master节点,并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
使用Spark执行Hudi样例程序(Python) 下面代码片段仅为演示,具体代码参见:HudiPythonExample.py。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi: String tablePath = args[0];
java:5916) 问题根因: 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后,执行balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。 问题2:执行balance失败,/system/balancer
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 编译构建样例代码后可以使用spark-submit提交命令,执行命令后会依次执行写入、更新、查询、删除等操作: 运行Java样例程序:
登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env kinit Hudi开发用户 编译构建样例代码后可以使用spark-submit提交命令,执行命令后会依次执行写入、更新、查询、删除等操作:
job_final_status Integer 参数解释: 作业最终状态码。 约束限制: 不涉及 取值范围: 0:未完成 1:执行错误,终止执行 2:执行完成并且成功 3:已取消 默认取值: 不涉及 hive_script_path String 参数解释: sql程序路径。 约束限制:
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
执行join操作时localtask启动失败 问题背景与现象 执行join等操作,数据量较小时,会启动localtask执行,执行过程会报错: jdbc:hive2://10.*.*.*:21066/> select a.name ,b.gender from student a
加载CarbonData表数据 操作场景 CarbonData table创建成功后,可使用LOAD DATA命令在表中加载数据,并可供查询。 触发数据加载后,数据以CarbonData格式进行编码,并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0];
使用Spark执行Hudi样例程序(Python) 下面代码片段仅为演示,具体代码参见:HudiPythonExample.py。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
MRS备份任务执行失败 问题现象 MRS的备份任务总是执行失败。 原因分析 备份目录软链接到系统盘,系统盘满了之后备份任务失败。 处理步骤 检查备份目录是否软链接到系统盘。 以root用户登录集群主备Master节点。 执行df -h命令查看磁盘情况,检查系统盘的存储情况。 执行 ll
解决方案 登录Manager。 MRS 3.x之前版本,执行7。 MRS 3.x及之后版本,选择“集群 > 服务 > Hive”,在服务“概览”页面右上角单击“更多”,查看“启用Ranger鉴权”是否置灰。 是,执行2。 否,执行7。 选择“集群 > 服务 > Ranger”,单击“
的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 前提条件 在执行批量加载时需要通过“Dimporttsv.bulk.output”参数指定文件的输出路径。 操作步骤 参数入口:执行批量加载任务时,在BulkLoad命令行中加入表1中的参数。 表1 增强BulkLoad效率的配置项
是,执行3。 否,执行7。 检查参数“javax.jdo.option.ConnectionURL”的值是否为“${javax.jdo.option.ConnectionURL.default}”。 是,执行4。 否,修改URL中超时参数为600,单击“保存”,执行7。 单击
不涉及 shutdown_cluster 否 Boolean 参数解释: 作业执行完成后,是否删除集群。 约束限制: 不涉及 取值范围: true:作业执行完成后,删除集群。 false:作业执行完成后,不删除集群。 默认取值: 不涉及 submit_job_once_cluster_run
执行create external table命令报错 问题现象 执行命令:create external table xx(xx int) stored as textfile location '/tmp/aaa/aaa',报以下错误: Permission denied. Principal