检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ros认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI界面。 选择“连接管理 > 新增连接”,在弹出窗口中输入数据连接的名称(Name,不能与已存在的名称相同)并选择连接类型(Link Type)。 根据不同的连接类型,界面信息输入数据相关链接参数。
HBASE_OPTS 该变量中设置的参数,将影响HBase的所有角色。 SERVER_GC_OPTS 该变量中设置的参数,将影响HBase Server端的所有角色,例如:Master、RegionServer等。 CLIENT_GC_OPTS 该变量中设置的参数,将影响HBase的Client进程。
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
如何通过happybase连接到MRS服务的HBase? 问: 大数据应用如何通过happybase连接到MRS服务的HBase? 答: MRS服务集群的HBase服务使用的是thriftserver2,thriftserver1和thriftserver2不能同时并存,但hap
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
处理步骤 检查集群环境中是否存在浮动IP。 登录MRS集群详情页面,选择“组件管理”。 单击“DBService > 实例”。 查看是否有主实例存在。 是,执行1.d。 否,执行2.a。 选择主DBServer实例,记录IP地址。 登录上述IP所在主机,执行ifconfig命令查
您可以根据实际任务数量的多少,为Driver设置一个合适的内存。 将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。
您可以根据实际任务数量的多少,为Driver设置一个合适的内存。 将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。
DWS服务数据导入到ClickHouse 参考下载Data Studio图形界面客户端中的“Data Studio图形界面客户端”下载Data Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。
调测Kafka SpringBoot样例程序 开启Kafka Plain认证。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索参数“sasl.enabled.mechanisms”,将参数值改为“GSSAPI
caching:在扫描数据表时的缓存行数。 如果不设置该参数,则默认值为1000。 为单个Region构建索引是为了修复损坏的索引。 此功能不应用于生成新索引。 创建HBase HIndex 安装HBase客户端,详情参见HBase客户端使用实践。 进入客户端安装路径,例如“/opt/client”
迁移到MRS 3.2.0及之前版本时,需要先关闭此特性,再对数据表执行major compaction生成新的HFile文件。 操作步骤 登录集群的FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,进入HBase配置界面。 在搜索框
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
可能原因 组件KrbServer服务所在节点故障。 OLdap服务不可用。 处理步骤 检查组件KrbServer服务所在节点是否故障。 登录MRS集群详情页面,选择“组件管理”。 选择“KrbServer > 实例”。进入KrbServer实例页面查看KrbServer服务所在节点的主机名。
在omm用户所在行,单击“操作”列下的“重启OMS服务”。 在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 在确定重启的对话框中,单击“确定”,重新启动OMS服务。 修改OMS数据库访问用户密码(MRS 2.x及之前版本) 在MRS Manager单击“系统设置”。 在“权限配置”区域下,单击“OMS数据库密码修改”。
HBASE_OPTS 该变量中设置的参数,将影响HBase的所有角色。 SERVER_GC_OPTS 该变量中设置的参数,将影响HBase Server端的所有角色,例如:Master、RegionServer等。 CLIENT_GC_OPTS 该变量中设置的参数,将影响HBase的Client进程。
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,如果用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时,使用hostname配置服务端地址,因此,客户端的/etc/ho
原因分析 使用命令lsof |grep deleted可以查询到此目录下有大量log文件处于deleted状态。 出现此问题的一种情况是长时间运行某些Spark任务,任务中的一些Container一直运行,并且持续产生日志;Spark的executor在打印日志的时候使用了log
用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台管理角色实例 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。