检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改在Hue使用“Query Editors”的会话配置 在“Hive”页签,单击。 在“Files”的右侧单击 ,然后单击 指定该文件的存储目录。 可以单击 新增加一个文件资源。 在“Functions”的右侧单击 ,输入用户自定义的名称和函数的类名称。 可以单击 新增加一个自定义函数。 在“Settings”的右侧单击
Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下步骤: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目 图2 添加Maven项目 通过Maven生成Jar包。 在Mave
全认证。执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行9。 对系统进行扩容。 对磁盘进行扩容。 检查本告警是否恢复。 是,处理完毕。
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf MRS_Services_ClientConfig
so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver.extraLibraryPath、spark
so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver.extraLibraryPath、spark
正常; 通过查看yarn的app详情页面,确认日志文件是否过大,如果日志汇聚失败,页面的“Log Aggregation Status:”应该显示为失败或者超时; 查看对应目录权限是否异常; 查看目录下是否有对应的appid文件(Spark的eventlog存放目录:MRS 3.
HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为
HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为
用户”,在用户名中选择ck_user1,单击操作列的“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka.keytab”。 登录Click
从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到“/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。 {"partitions":[{"topic":
压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file 证书文件。 tls_key_file 证书密钥文件。 tls_ca_cert_file CA证书文件。 tls_ca_cert_dir CA证书所在的目录。 tls_cipher_suite 允许加密套件。
看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。
指把扩容的磁盘容量分配给已存在分区下,操作期间会有中断业务的影响,请谨慎操作,建议操作前先停止业务。 新增分区操作请参考扩容云硬盘分区和文件系统(Linux)中的“新增MBR分区”或“新增GPT分区”章节进行操作。 以root用户登录到ClickHouse的扩容节点上,执行以下命
压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。
一块或多块独立的SSD硬盘。 磁盘吐出文件路径。 worker.config.properties/coordinator.config.properties max-spill-per-node 10GB Sum(每个节点可用空间) * 50%。 所有查询在单节点上磁盘吐出文件可用空间。 worker
Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目。 图2 添加Maven项目 通过Maven生成Jar包。 在Mav
表的log文件中,也可以基于状态后端生成Hudi的changelog数据。 优点:可以基于湖存储实现更新数据聚合一致性保证。 缺点: Hudi的MOR表中仅在log文件中存在changelog数据,如果Flink作业计算延迟导致上游数据积压,而Hudi又清理了log文件,就会导致