检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode入服退服: 默认情况下,当DataNode数量少于或等于HDFS的副本数时,不能执行退服操作。若HDFS副本数为3时,则系统中少于4个DataNode,将无法执行退服,Manager在执行退服操作时会等待30分钟后报错并退出执行。 针对MRS 3.3.0及之后版
用户名为dorisuser),并修改初始密码。 登录Doris集群Manager页面,详细操作请参考访问MRS集群Manager。 选择“系统 > 权限 > 角色 > 添加角色”,填写角色名称,如“dorisrole”,在“配置资源权限”选择“待操作的集群 > Doris”,勾选
column1 = 'india' and exists( select * from table3 o where o.column2 > 1); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: DML
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限,数据库中的表也将自动添加
webUrl 集群首页地址,从配置文件“UserInfo.properties”中获取。 userName 登录FusionInsight系统的用户名,从配置文件“UserInfo.properties”中获取。 password userName对应的密码,从配置文件“UserInfo
繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
kerberos.login.keytab: " 在安全集群环境下,Flink需要进行安全认证。当前客户端未进行相关安全认证设置。 Flink整个系统有两种认证方式: 使用kerberos认证:Flink yarn client、Yarn Resource Manager、JobMana
column1 = 'india' and exists( select * from table3 o where o.column2 > 1); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: CarbonData语法参考
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表: MRS Manager
通过如下配置项可开启自动进行数据倾斜处理功能,通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散,变成多个task处理一个桶的数据机制,提高CPU资源利用率,提高系统性能。 未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。
示参数分类。(下图以HDFS组件为例) 在导航树选择指定的参数分类,并在右侧修改参数值。 不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。(下图以HDFS组件为例) 单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。
2为MapReduce的“JHS_FLOAT_IP”参数的参数值,26014为JobHistoryServer的端口号。 在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题,导致无法返回正确结果。 用户能看到历史任务的状态信息(任务ID,开始时间,结束时间,是否执行成功等信息)
在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群
Browse the file system”,查看并获取“hdfs://hacluster/tmp/plan.json”文件(单击“语义校验”后系统会在HDFS中会生成CompiledPlan文件),文件内容如下,显示“id”为“1”的datagen算子并行度为“2”。 以修改data
--FlinkServer所在集群为非安全模式去掉此参数 'properties.kerberos.domain.name' = 'hadoop.系统域名' --FlinkServer所在集群为非安全模式去掉此参数 ); CREATE TABLE LD_SINK( `name` STRING
通过如下配置项可开启自动进行数据倾斜处理功能,通过将Hash分桶后数据量很大的、且超过数据倾斜阈值的分桶拆散,变成多个task处理一个桶的数据机制,提高CPU资源利用率,提高系统性能。 未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。
并调用context.write(key, value)输出到指定目录。 * 其reduce的输出的key,value由Outputformat写入文件系统。 * 默认使用TextOutputFormat写入HDFS。 */ public void reduce(Text key, Iterable<IntWritable>