检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果集群为普通模式,执行su - omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。
在Ranger首页右上角的“Security Zone”选项的下拉列表中选择对应的安全区,即可切换至该安全区内的权限视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。
执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。
升级完默认配置变更为false,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时AKSK,meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单。 如果希望meta故障时,从ecs元数据接口获取临时AKSK,则将参数配置为true。
执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令认证hdfs身份。
执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令认证hdfs身份。
ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。
以root用户登录DBService浮动IP所在主机,执行su - omm命令切换至omm用户。 执行cd ${DBSERVER_HOME}命令进入DBService服务的安装目录。
在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。
使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。
执行以下命令创建数据库并切换: create database if not exists testdb; use testdb; 执行以下命令创建表z_test并插入数据: create table z_test(id int, name string) distributed
Hive表有删除或已有表的数据结构有修改:请在目的端集群中手动删除对应表或手动更新变更的表结构。 父主题: 数据迁移
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
filePaths.length; i++) { unionStream = unionStream.union(env.readTextFile(filePaths[i])); } } // 数据转换
20s unsupported-type-handling 当连接器不支持此数据类型时,是否将其转换为VARCHAR,从而避免失败。 CONVERT_TO_VARCHAR:将不支持的类型转为VARCHAR类型,并且只支持对它们的读操作。
String 100000字符 说明: 如果在CREATE TABLE中使用Char或Varchar数据类型,则这两种数据类型将自动转换为String数据类型。
hbase-site.xml Spark客户端目录(如“/opt/client/Spark2x/spark/jars”) jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明: 请使用Oozie用户上传文件,执行su - oozie切换到