检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传至客户端指定目录。 说明: 当作业需要以yarn-application模式提交时,需替换如下路径: file_path = os.getcwd() + "/../../../../yarnship/datagen2kafka.sql" file_path = /客户端安装目
规划好新的目录路径,用于保存旧目录中的数据。 已安装好HDFS客户端。 准备好业务用户hdfs。 更改DataNode单个实例的存储目录时,保持活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。
资源权限:ClickHouse支持的资源权限如表2所示。 表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE
故障磁盘信息。 更换故障硬盘。 检查告警是否清除。 是,操作结束。 否,执行5。 收集故障信息。 在MRS Manager界面,选择“系统设置 > 日志导出” 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 相关参数获取方法如下:
max.split.size参数,所以运行的时候会提示不允许。 处理步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Yarn > 实例”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
或者任务并发较高,有可能会导致Executor内存不足,导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。 su - omm 执行以下命令,修改“catalina.sh”脚本,搜索“JAVA_OPTS”
其他: --创建视图 create view orders_by_date as select * from orders; --设置表的注释信息,可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表:
Loader模型组成 名称 描述 Loader Client Loader的客户端,包括WebUI和CLI版本两种交互界面。 Loader Server Loader的服务端,主要功能包括:处理客户端操作请求、管理连接器和元数据、提交MapReduce作业和监控MapReduce作业状态等。
protection”参数值和HBase服务端的“hbase.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节,登录Ranger管理界面。 在首页中“HBASE”区域,单击组件插件名称,如HBase的按钮 搜索配置项“hbase.rpc
protection”参数值和HBase服务端的“hbase.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节,登录Ranger管理界面。 在首页中“HBASE”区域,单击组件插件名称,如HBase的按钮 搜索配置项“hbase.rpc
行。 安全认证有两种方式: 命令行认证: 提交Oozie应用程序运行前,在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证(Kerberos安全认证): 通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认
记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd
置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
databases和show tables权限,可在Ranger WEBUI中删除该默认public组策略,并赋予需要查看的用户权限。 处理步骤 登录Ranger WebUI界面。 在“Service Manager”区域内,单击Hive组件名称,进入Hive组件安全访问策略列表页面。 分别单击“all
检查diskmgt磁盘监控服务是否存在。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。 执行以下命令查看服务核心文件是否存在。
置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
on Spark功能。 可能原因 Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/
规划好新的目录路径,用于保存旧目录中的数据。 已安装好HDFS客户端。 准备好业务用户hdfs。 更改DataNode单个实例的存储目录时,保持活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。
填写正确的用户名,获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HiveQL,输出查询的列名和结果到控制台,关闭JDBC连接。 Connection connection = null; try { // 获取JDBC连接