检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IndexServer2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,将“spark.driver.extraJavaOptions”参数中-XX:M
IndexServer2x直接内存 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,“spark.driver.extraJavaOptions”参数中-XX:Ma
Manager,选择“系统 > 权限 > 角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。 在添加角色界面输入“角色名称”,在“配置资源权限”列表中单击集群名称,进入服务列表页面,单击“Doris”服务,进入Doris权限资源页面。 根据业务需求确定是否要创建具有Doris管理员权限的角色。
通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。 父主题: Hudi数据表设计规范
的错误而失败。 如果在创建表期间将SORT_SCOPE定义为GLOBAL_SORT,则可以指定在对数据进行排序时要使用的分区数。如果未配置或配置小于1,则将使用map任务的数量作为reduce任务的数量。 建议每个reduce任务处理512MB - 1GB数据。 OPTIONS(
存储策略:表示设置目录或文件在HDFS中的存储策略。 摘要:表示查看选中的文件或目录的HDFS存储信息。 存储策略定义使用介绍 如果Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类:
角色名称不能以Manager、System、default开头,例如角色名称不能为“Manager_test”等。 图1 添加角色 在“配置资源权限”列表,选择待增加权限的集群,为角色选择服务权限。 在设置组件的权限时,可通过右上角的“搜索”框输入资源名称,然后单击搜索图标显示搜索结果。
文件:表示创建一个文件,输入文件名后单击“创建”完成。 目录:表示创建一个目录,输入目录名后单击“创建”完成。 存储策略定义使用介绍 若Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 登录FusionInsight Manager。
开启了Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装在主管理节点中,安装目录为“/opt/client”。 准备集群配置文件 集群创建成功后,登录FusionInsight Manager创建用于提交Flink作业的集群用户。
提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了Kudu的客户端。 代码认证: 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题: 准备Kudu应用开发环境
Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置,并保存退出。 cd /etc/ssh vi sshd_config Subsystem sftp /usr/libexec/openssh/sftp-server
JDBCServer2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“JDBCServer2x > 性能”,将“spark.driver.extraJavaOptions”参数中-XX:Ma
Managers、Job Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
Manager系统。 选择“集群 > 服务 > ClickHouse > 配置”。 单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 配置完成后即生效,不需要重启服务。 日志格式 ClickHouse的日志格式如下所示:
000 = 30 100,000,000 100,000,000 *3/5,000,000 = 60 内存参数设置 NameNode JVM参数配置规则 NameNode JVM参数“GC_OPTS”默认值为: -Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M
接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
N,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>