检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前SQL执行的数据库以界面上显示的数据库为准。 与此相关的还有设置参数等session级别
能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用,也可以将OBS的数据导入集群的HDFS系统后进行处理,上传文件速率会随着文件大小的增大而变慢,适合数据量小的场景下使用。 导入OBS数据至HDFS 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名进入集群信息页面。
OBS元数据接口调用平均时间超过阈值,会影响上层大数据计算业务的性能,导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿,或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 >
部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部表,如果数据要被多种工具共同处理,则应该使用外部表,可避免对该数据的误操作。删除外部表时,只删除掉元数据。 根据已有表创建新表,使用CREATE LIKE句式,完全复制原有的表结构,包括表的存储格式。
实例。 以客户端安装用户登录安装了Hive客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Hive/component_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 登录Hive客户端,并执行以下命令创建Hive表:
x及之后版本) 登录FusionInsight Manager。 选择“集群 > 停止”(MRS 3.3.0及之后版本,在主页右上角选择“更多 > 停止”),输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”,等待界面提示停止成功。 以omm用户登录主管理节点。 执行以下命令,防止超时退出。
ClickHouse租户支持CPU优先级,该特性依赖OS的CAP_SYS_NICE能力,需要开启该能力才可以生效。 操作步骤 使用root用户登录ClickHouseServer实例节点,执行如下命令: setcap cap_sys_nice=+ep /opt/Bigdata/Fus
> 重启实例”,输入当前用户密码,单击“确定”重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能? 是,重新下载并安装Spark/Spark2x客户端。 否,操作结束。 父主题: Hive企业级能力增强
除。 删除ZooKeeper中的数据为高危操作,请谨慎处理。 是,执行4。 否,执行5。 登录ZooKeeper客户端,删除被写入较多数据的目录中的无用数据。 登录ZooKeeper客户端安装目录(例如“/opt/client”),并配置环境变量。 cd /opt/client source
下再使用此特性。 该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如安装目录为“/opt/client”,请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。
Map函数生成的列表,然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。 MapReduce结构 MapReduce通过实现YA
数或修改参数值进行开启。 本章节操作适用于MRS 3.x及之后版本。 配置描述 在客户端的“mapred-site.xml”配置文件中进行如下配置。“mapred-site.xml”配置文件在客户端安装路径的config目录下,例如“/opt/client/Yarn/config”。
directory"配置选项设置成自定义目录时,需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户端配置文件conf/flink-conf.yaml,配置blob.storage.directory: /home/testdir/testdirdir/xxx。
enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用External Shuffle Service功能,需要重新下载并安装Spark2x客户端。 父主题: Spark Core性能调优
录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default.conf文件中的spark.driver.extraClassPath配置复制出来,并将Kafka相关j
dc=com”是否被锁定,在集群主管理节点上执行如果下命令查看krbkdc是否被锁定(krbadmin用户方法类似): oldap端口查询方法: 登录FusionInsight Manager,选择“系统 > OMS > oldap > 修改配置”; “Ldap服务监听端口”参数值即为oldap端口。
设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。
n三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。 请参考准备Spark应用Java开发环境至准备Spark应用Python开发环境章节 准备运行环境 Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备Spark应用运行环境
balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。 问题2:执行balance失败,/system/balancer.id文件异常 问题详细: 在HDFS客户端启动一个Balance进程,该进程被异常停止后,再次执行Balance操作,操作会失败。
DBService进程没有停止成功,使用的端口未释放。 解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用ki