正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在重试过程中,建议在WARN级别上打印重试错误日志,同时,仅在重试失败时打印异常信息。 Jedis客户端重试配置 原生JedisPool(操作单机,主备,Proxy集群)模式下,Jedis不提供重试功能,因此需要自己封装重试。可以参考JedisClusterCommand的实现方法,自行实现JedisPool的重试方法。
Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1: 最常见的无法提交任务原因是认证失败, 还有可能是参数设置不正确。 问题2: 集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中,如果提示yarn的包找不到,一般都是因为hadoop的相关配置没有设置。
入到DWS。如何导入OBS数据到DWS具体可参考《数据仓库服务数据库开发指南》中“从OBS并行导入数据到集群”章节。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更
的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5
的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5
Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。
登录ServiceStage控制台。 在左侧导航栏选择“持续交付 > 构建”。 在“构建”页面,通过以下任意方式查找指定构建任务: 选择组件部署的CCE集群和构建任务状态,在构建列表选择指定构建任务。 在搜索框输入指定的构建任务名称,搜索指定构建任务。 单击“立即构建”,启动构建任务。 父主题:
在左侧导航栏选择“持续交付 > 构建”。 在“构建”页面,通过以下任意方式查找指定构建任务: 创建类别选择“用户创建”后,选择组件部署的CCE集群和构建任务状态,在构建列表选择指定构建任务。 在搜索框输入指定的用户创建的构建任务名称,搜索指定构建任务。 选择“更多 > 删除”。 单击“确定”。
Kafka集群IP:21007 --command-config ../config/client.properties --topic 主题名称 普通模式: ./kafka-topics.sh --describe --bootstrap-server Kafka集群IP:21005
参数入口,请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDFS上的副本数。当集群中DataNod
ver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下,在内存中保留的Job和Stage的UI数据个数为1000个。 当前大集群优化已增加将UI数据溢出到磁盘的优化,其溢出条件是每个Stage中的UI数据大小达到最小阈值5MB。如果每个Stage的task数较小,那
通过Hue执行SparkSQL 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时,可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面,具体操作请参考修改集群服务配置参数。 设置Spark2x多实例模
IoTDB用户权限说明 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。 IoTDB在安全模式下需要进行权限管理,将创建的用户加入iotdbgroup用户组。在普通模式下无需进行权限管理。
r中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志,提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景,且用户需要是拓扑的提交者,或者加入“stormadmin”。 前提条件 在工作环境完成网络配置。 需要查看处理数据的拓扑,提交时已启用采样功能。
Impala客户端使用实践 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管
设置角色“配置资源权限”请参见表2。 设置HDFS目录的读和执行权限。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”,在“hive”的“权限”列,勾选“读”和“执行”。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/
Kafka集群IP:21007 --command-config ../config/client.properties --topic 主题名称 普通模式: ./kafka-topics.sh --describe --bootstrap-server Kafka集群IP:21005
登录RabbitMQ WebUI RabbitMQ实例提供了开源RabbitMQ的集群管理工具,通过RabbitMQ管理地址可访问WebUI并对实例进行配置操作。 仅RabbitMQ 3.8.35版本支持RabbitMQ WebUI。 登录RabbitMQ WebUI 获取实例管理地址。
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行HDFS Shell命令。例如: hdfs dfs -ls / HDFS客户端常用命令
是过期的。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径: 在FusionInsight Manager页面中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”,并在搜索框中输入参数名称。 表1 参数配置 参数 描述 默认值 dfs.client