检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS集群配置的磁盘空间不足。 处理步骤 查看磁盘容量，清除无用文件。 在MRS集群详情页面，单击“组件管理 > HDFS”，弹出“服务状态”页面。 在“图表”区域中，通过监控项“Percentage of HDFS Capacity”查看HDFS磁盘使用率是否超过阈值（默认为80%）。 是，执行1
备份管理”。 在任务列表指定任务的“操作”列，单击“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
onData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。若HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。 org.apache.hadoop.hdfs
jks”分别为Flume服务端、客户端SSL证书信任列表。 本章节涉及到所有的用户自定义密码，需满足以下复杂度要求： 至少包含大写字母、小写字母、数字、特殊符号4种类型字符 至少8位，最多64位 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 在FusionInsight
Manager管理界面，单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在左侧的导航列表中，单击“JobHistory2x > 界面”，配置如下参数。 表1 参数说明 参数 描述 默认值 spark.history.retainedApplications H
业之前，应按照默认的NameService文件夹权限更改ViewFS文件夹权限。 下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配，则必须相应地更改目录权限。 表1 ViewFS中配置的目录的默认权限结构 参数 描述 默认值 默认值及其父目录的默认权限
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法： http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
Spark Structured Streaming对接Kafka样例程序 Spark Structured Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序（Scala） 父主题： 开发Spark应用
发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
on HBase 程序-分布式Scan HBase表 Java SparkOnHbaseScalaExample-HBaseDistributedScanExample Spark on HBase 程序-分布式Scan HBase表 Scala SparkOnHbasePytho
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序（Scala） 父主题： 开发Spark应用
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
准备Eclipse与JDK 选择Windows开发环境下，安装Eclipse，安装JDK。 开发环境安装Eclipse程序，安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序，安装要求JDK使用1.8版本。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表 props.put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER, "localhost:21007"));
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String
on HBase 程序-分布式Scan HBase表 Java SparkOnHbaseScalaExample-HBaseDistributedScanExample Spark on HBase 程序-分布式Scan HBase表 Scala SparkOnHbasePytho
代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。 在安全集群环境下，样例代码需要使用的认证方式如表1所示： 表1 安全认证方式 样例代码 模式 安全认证方式 sparknormal-examples yarn-client 命令认证、配置认证或代码认证，三种任选一种。
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
