检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
locatorId) 用colocation模式,创建一个FSDataOutputStream,从而允许用户在f路径写文件。 f为HDFS路径。 overwrite表示如果文件已存在是否允许覆盖。 用户指定文件所属的groupId和locatorId必须已经存在。 public FSDataOutputStream
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
错。 回答 查询前设置set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name;之后即可。 如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad
如何修改FlumeClient的日志为标准输出日志? 登录Flume客户端安装节点。 进入Flume客户端安装目录,假设Flume客户端安装路径为“/opt/FlumeClient”,可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。 人机用户:kinit MRS集群用户 例如: kinit hiveuser 机机用户:kinit -kt <user.keytab路径>
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。 在DBS
TezUI无法展示Tez任务执行细节 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE(角色) > 自定义”,新增自定义参数“broker_timeout_ms”,默认值为10秒,需适当调大该参数值,如1000,并重启配置过期的FE实例。 父主题:
yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
locatorId) 用colocation模式,创建一个FSDataOutputStream,从而允许用户在f路径写文件。 “f”为HDFS路径。 overwrite表示如果文件已存在是否允许覆盖。 用户指定文件所属的groupId和locatorId必须已经存在。 public FSDataOutputStream
系统每30秒周期性检测网络读包错误率,并把实际错误率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包错误率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”修改阈值。 平滑次数为1,网络读包错
ALM-12202 进程内存使用率超过阈值 告警解释 系统每30秒周期性检测OMS主要进程内存使用状态,当检测到OMS主要进程内存使用率大于最大内存的90%(默认)时,产生当前告警。 当OMS主要进程内存使用率小于等于最大内存的90%时,告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。
S回收站,直接删除。使用前先设置HDFS客户端配置项“dfs.client.skipTrash.enabled=true”。 以root用户登录集群任一Master节点。 执行如下命令编辑HDFS用到的“hdfs-site.xml”文件。 vim 客户单安装目录/HDFS/had
py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 执行以下命令运行Python客户端: cd python-examples python
{user.name}”是操作系统用户名(即omm用户),客户端(kerberos用户,例如admin用户)不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决: 在客户端将“hbase.fs.tmp.dir”参数设置为当前kerberos用户的目录(如“/user/admi
执行以下命令,编辑schedule.properties文件,配置登录方式。 vi schedule.properties schedule-tool工具支持两种登录方式,两者只能选一。详细参数请参见schedule-tool工具使用指导。 以密码方式登录,配置信息示例如下: [server.url =
创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。