检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。
用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clusters/{cluster_id}/job-executions
在程序代码完成开发后,可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包,在工程目录target目录下获取,比如“mapreduce-examples-1
名称 说明 MySQL Tools Doris采用MySQL协议,高度兼容MySQL语法,支持标准SQL,用户可以通过各类客户端工具来访问Doris,并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT.
HBase单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。 处理步骤 检查HBase相关配置是否合理。 登录MRS集群详情页面,选择“组件管理 > HBase > 服务配置”,将“基础配置”切换为“全部配置”,搜索“hbase
如何查看指定Yarn任务的日志? 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 将从IntelliJ IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外
如下自定义配置: 原因分析 用户配置了Phoenix的索引功能,由于新节点没有Phoenix对应的jar包,导致找不到类,启动失败。 处理步骤 登录到正常的RegionServer节点,执行以下命令。 grep -Rn ‘org.apache.hadoop.hbase.regionserver
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。
直接抛错,设置了该值order by可以正常完成,但是速度非常慢。 0 25GB 否 keep_alive_timeout 服务端与客户端保持长连接的时长,单位为秒。 10 600 否 max_concurrent_queries 最大支持的查询并发。 100 150 否 session_timeout_ms
输入obs_bucket_name/tmp/和obs_bucket_name/tmp/*。此处以/tmp目录为例,如需其他目录权限请参考该步骤添加对应目录及该目录下所有对象的资源路径。 “bucket”选择“通过资源路径指定”,并单击“添加资源路径”在“路径”中输入obs_bucket_name。
/restarthttpd.sh 检查备Master节点上的httpd.conf文件是否已修改,如果已修改则处理完成,如果未修改,参考上述步骤进行修改备Master节点的httpd.conf文件,无需重启httpd。 重新下载Excel即可打开。 父主题: Web页面访问类
作业,随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。 su - omm 执行以下命令,修改“catalina
options(path '/tmp/users.parquet'); 切换到另外一个数据库,执行show tables,依然可以看到上个步骤创建的临时表。 0: jdbc:hive2://192.168.169.84:22550/default> show tables; +-
务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris元数据所占磁盘空间越来越大,最终可能导致服务异常。 可能原因 Doris服务异常。 处理步骤 检查Doris服务是否正常 登录FusionInsight Manager,选择“集群 > 服务 > Doris”。 查看Doris服务“运行状态”是否为“良好”。
对系统的影响 非Master角色的FE节点不能接收到最新的元数据镜像文件,系统可靠性降低。 可能原因 Doris服务异常。 处理步骤 检查Doris服务状态。 登录FusionInsight Manager,选择“集群 > 服务 > Doris”。 查看Doris服务“运行状态”是否为“良好”。
致FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”。 搜索“priority_network”
orter_x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/lib”目录下。 操作步骤 在FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie