检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1: 最常见的无法提交任务原因是认证失败, 还有可能是参数设置不正确。 问题2: 集群默认会把分析节点的hadoop
节点,放置到与准备放置编译出的jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 准备开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client
如果是初次使用Maxwell,建议将conf/config.properties中的log_level改为debug(调试级别),以便观察启动之后是否能正常从MySQL获取数据并发送到kafka,当整个流程调试通过之后,再把log_level修改为info,然后先停止再启动Maxwell生效。 # log level
表中所有二级索引表的表名+列名的累积长度*(单位:字符) 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。
在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误,造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口信息,具体请参考如何获取ZooKeeper地址?。 以root用户登录Master节点。 初始化环境变量。 source /opt/client/bigdata_env
例代码,需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录,执行mvn install编译。 在Presto示例工程根目录,执行mvn
ator/application_ID/container_ID/yyyyMMdd/server.log”。 如果使用JDBC二次开发需要获取Warning信息,则需要在JDBC应用程序处适配: statement = connection.prepareStatement(sql
RIVER_BIND_ADDRESS,该逻辑并没有走到服务端,所以该问题产生的原因也是客户端节点操作系统环境问题导致sparkDriver获取不到对应的主机IP。 可以尝试设置spark.driver.bindAddress=127.0.0.1,使提交任务driver端可以加载到
bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(hbase用户初始密码可查看用户账户一览表获取)。 执行hbase zkcli命令进入ZooKeeper客户端,然后执行命令listquota /hbase查看对应HBase服务的zn
as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs
erver实例主机名称。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,单击1获取的主机名称对应的TokenServer角色,单击图表区域右上角的下拉菜单,选择“定制 > RPC > TokenServer RPC处理平均时间”,单击“确定”。
际业务场景进行修改)。 IoTDBServer进程使用的直接内存大小可以通过“定制 > 内存 > IoTDBServer直接内存资源状况”获取。若“GC_OPTS”中没有参数“-XX:MaxDirectMemorySize”,则需进行手动添加。 重新启动受影响的服务或实例,观察界面告警是否清除。
是,处理完毕。 否,执行4。 检查网口速率是否满足需求。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机地址及网口名称。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口
以root用户登录备DBService节点。 执行命令su - omm切换到omm用户。 进入“${DBSERVER_HOME}”目录,执行以下命令获取DBservice的数据目录。 cd ${DBSERVER_HOME} source .dbservice_profile echo ${DBSERVICE_DATA_DIR}
数据及删除表。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,
rver实例的主机名称。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,单击1获取的实例主机名对应的TokenServer角色,单击图表区域右上角的下拉菜单,选择“定制 > RPC > TokenServer RPC队列平均时间”,单击“确定”。
修复完成后,查看“比较结果”是否为“一致”,“一致”则表示数据修复成功;如果比较结果为“不一致”,则表示修复失败,可以根据“报告地址”在HDFS对应目录中获取报告,进行手动修复。 父主题: 创建CDL作业
体操作可参考添加Hive的Ranger访问权限策略。 前提条件 已完成Hive客户端的安装,例如安装目录为“/opt/client”。 已获取一个拥有管理员权限的用户,例如“admin”。 操作步骤 Hive关联Yarn 用户如果执行insert,count,distinct,group
导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。 导出操作 将算子的字段配置信息以json文件导出保存到本地。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight
g.tar.sha256 FusionInsight_Cluster_1_Services_ClientConfig.tar: OK 解压获取的安装文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 进入安