检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive表有删除或已有表的数据结构有修改:请在目的端集群中手动删除对应表或手动更新变更的表结构。 父主题: 数据迁移
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。
在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
注册临时表并查询: val roViewDF = spark.read.format("org.apache.hudi").load(basePath + "/*/*/*/*") roViewDF.createOrReplaceTempView("hudi_ro_table") spark.sql
hbase-site.xml Spark客户端目录(如“/opt/client/Spark2x/spark/jars”) jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明: 请使用Oozie用户上传文件,执行su - oozie切换到
使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。
spark2x”目录 hbase-site.xml Spark客户端目录(如“/opt/client/Spark2x/spark/jars”) jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明: 请执行su - oozie切换到
在“实例”区域中,单击“Broker > 实例配置”,进入当前节点“实例配置”页面,将“基础配置”切换为“全部配置”,查看数据目录配置参数“log.dirs”。
登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。
执行以下命令切换到客户端目录,客户端安装目录如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。
执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
以验证hbase shell客户端执行的读写任务是否成功开启Multicast功能为例: 执行以下命令切换到客户端安装目录,配置环境变量并认证用户: cd HBase客户端安装目录 source bigdata_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式
执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。
UDF报错 解决Alluxio jar包冲突问题 解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决MRS对接DCS做缓存,缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
20s unsupported-type-handling 当连接器不支持此数据类型时,是否将其转换为VARCHAR,从而避免失败。 CONVERT_TO_VARCHAR:将不支持的类型转为VARCHAR类型,并且只支持对它们的读操作。