检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
径下“spark-defaults.conf”中的spark.driver.extraJavaOptions；或者在启动Spark任务时，通过“--conf”来指定Driver的配置，如下（此处spark.driver.extraJavaOptions“=”号后面的引号部分不能缺少）。
所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism 200 按实际作业可用资源2倍设置
OutOfMomeryError”错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限（默认128M）。可通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如，需要设置内存上限为1GB，则设置：
可能原因 主备节点网络不稳定。 备DBService异常。 备节点磁盘空间满。 主DBService节点GaussDB进程CPU使用率高（需要通过日志定位该问题）。 处理步骤 检查主备节点网络是否正常。 在FusionInsight Manager页面，选择“集群 > 服务 > DBService
为“IoTDBServer进程使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 IoTDBServer进程使用的直接内存大小可以通过“定制 > 内存 > IoTDBServer直接内存资源状况”获取。若“GC_OPTS”中没有参数“-XX:MaxDirectMemorySize”，则需进行手动添加。
er实例的配置参数"hbase.regionserver.thrift.port"对应的值。ThriftServer实例所在节点IP地址可通过登录FusionInsight Manager，选择“集群 > 服务 > HBase > 实例”获取。 父主题： 配置HBase应用安全认证
IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip
下载认证凭据”下载认证凭据文件，保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。
MOR表下游采用流式计算，历史版本保留小时级。 如果MOR表的下游是流式计算，例如Flink流读，可以按照业务需要保留小时级的历史版本，这样的话近几个小时之内的增量数据可以通过log文件读出，如果保留时长过短，下游flink作业在重启或者异常中断阻塞的情况下，上游增量数据已经Clean掉了，flink需要从par
InternalRow]] 例子： CarbonSegmentUtil.getFilteredSegments(carbonrdd) 可以通过传入sql语句来获取过滤后的segment： /** * Returns an array of valid segment numbers
Kafka > 实例”，将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页面中选择“全部配置”，搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址，并执行df
SQL程序 Python SparkThriftServerJavaExample 通过JDBC访问Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource
SQL程序 Python SparkThriftServerJavaExample 通过JDBC访问Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource
直接重启耗时约10分钟。 滚动重启 不支持滚动重启。 - JobGateway 直接重启 重启过程中通过管理控制台提交作业会失败。 直接重启耗时约5分钟。 滚动重启 重启过程中通过管理控制台提交作业可能会失败。 滚动重启3个节点耗时约10分钟。 Kudu 直接重启 重启期间无法访问Kudu表，影响作业。
splitLog(MasterFileSystem.java:375) 因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/
系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通，可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例：“C:\WINDOWS\system32\drivers\etc\hosts”。
splitLog(MasterFileSystem.java:375) 因此，不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决： 在客户端命令提示符下运行kinit 用户名命令，使HBase用户获得安全认证。 运行hdfs dfs -count -q/
服务能力，实现更高水平的应用容错。如图3所示，客户端应用请求集群时，使用ELB（Elastic Load Balance）来进行流量分发，通过ELB的轮询机制，写不同节点上的本地表（Local Table），读不同节点上的分布式表（Distributed Table），这样，无论
统随机生成。 Kerberos认证 Kerberos认证支持两种方式：密码认证及keytab认证。认证有效时间默认为24小时。 密码认证：通过输入用户正确的密码完成身份认证。主要在运维管理场景中使用“人机”用户进行认证，命令为kinit 用户名。 keytab认证：keytab文
”文件中所列出的各主机在网络上互通。 在本实践中，需要确保本地环境与MRS集群所在网络平面互通，通常可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问集群HBase。 如果本地开发环境与MRS集群内节点网络不通，也可以将样例工程编译后，将jar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
