检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行9。 对系统进行扩容。 对磁盘进行扩容。 检查本告警是否恢复。 是,处理完毕。 否,执行11。 收集故障信息。 在FusionInsight
使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题: HBase企业级能力增强
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf MRS_Services_ClientConfig
so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver.extraLibraryPath、spark
so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver.extraLibraryPath、spark
通过查看yarn的app详情页面,确认日志文件是否过大,如果日志汇聚失败,页面的“Log Aggregation Status:”应该显示为失败或者超时; 查看对应目录权限是否异常; 查看目录下是否有对应的appid文件(Spark的eventlog存放目录:MRS 3.x及以后版本的目录是hdfs://h
HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为
HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为
用户”,在用户名中选择ck_user1,单击操作列的“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka.keytab”。 登录Click
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置Spark应用安全认证 配置Spark Python3样例工程 父主题: Spark2x开发指南(安全模式)
at which events are being started by the scheduler. 回答 停止应用,在Spark的配置文件“spark-defaults.conf”中将配置项“spark.event.listener.logEnable”配置为“true”。并把配置项“spark
General > Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“Finish”。 父主题: 准备HBase应用开发环境
at which events are being started by the scheduler. 回答 停止应用,在Spark的配置文件“spark-defaults.conf”中将配置项“spark.event.listener.logEnable”配置为“true”。并把配置项“spark
equire'(默认值)。 tls_cert_file 证书文件。 tls_key_file 证书密钥文件。 tls_ca_cert_file CA证书文件。 tls_ca_cert_dir CA证书所在的目录。 tls_cipher_suite 允许加密套件。 父主题: ClickHouse用户权限管理
压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
一块或多块独立的SSD硬盘。 磁盘吐出文件路径。 worker.config.properties/coordinator.config.properties max-spill-per-node 10GB Sum(每个节点可用空间) * 50%。 所有查询在单节点上磁盘吐出文件可用空间。 worker
看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。
例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 示例中的“ssl/”是Flink客户端目录下自定义的子目录,用来存放SSL keystore、truststore相关配置文件。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。
数据处理规则一览表 转换步骤 规则描述 CSV文件输入 分隔符在原始数据中连续出现两次,将生成空字符串字段。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 遇到类型转换错误,当前数据保存为脏数据。 固定宽度文件输入 原始数据包含NULL值,不做转换处理。
准备MapReduce应用开发环境 准备MapReduce开发环境 准备连接MapReduce集群配置文件 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 配置MapReduce应用安全认证 父主题: MapReduce开发指南(安全模式)