检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site
安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的P
操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site
chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 登录“Loader WebUI”界面。 登录FusionInsight M
boolean 本地化需求优先,如果不能满足则不强制满足。 locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect
application_1619511926396_2586346 finished with failed status 解决方法 使用root用户登录Spark客户端节点,调高“spark-defaults.conf”文件中“spark.driver.memory”参数值。 父主题: 作业管理类
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings > Build
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。
安全认证有两种方式: 命令行认证: 提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了Kudu的客户端。 代码认证: 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题: 准备Kudu应用开发环境
安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的P
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。
前提条件 已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 在主管理节点使用客户端。 安装客户端,具体请参考安装客户端章节。
服务发送SQL语句。 JDBCServer服务执行客户端发送的SQL语句后,将结果返回给客户端。 在HA方案中,每个JDBCServer服务(即实例)都是独立且等同的,当其中一个实例在升级或者业务中断时,其他的实例也能接受客户端的连接请求。 多主实例方案遵循以下规则: 当一个实例
boolean 本地化需求优先,如果不能满足则不强制满足。 locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect
ver服务发送SQL语句。 JDBCServer服务执行客户端发送的SQL语句后,将结果返回给客户端。 在HA方案中,每个JDBCServer实例都是独立且等同的,当其中一个实例在升级或者业务中断时,其他的实例也能接受客户端的连接请求。 多主实例方案遵循以下规则: 当一个实例异常
如何查看Kudu日志? 登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令,进入到“/var/log/Bigdata/kudu/”目录,即可查看Kudu日志信息。 父主题: 组件配置类
下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0]; String tableName = args[1]; SparkConf
e NameNode,降低客户端应用运行异常的概率。 单位:毫秒。取值范围:30000~3600000 180000 ipc.client.connect.max.retries.on.timeouts 客户端与服务端建立Socket连接超时时,客户端的重试次数。 取值范围:1~256
下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0]; String tableName = args[1]; SparkConf
下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi: String tablePath = args[0]; String tableName = args[1]; SparkConf