检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Add New Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Hudi用户组赋予OBS路径读和写权限 父主题: MRS集群服务对接OBS示例
ALM-12010 Manager主备节点间心跳中断 ALM-12039 OMS数据库主备不同步 ALM-14000 HDFS服务不可用 ALM-14010 NameService服务异常 ALM-14012 Journalnode数据不同步 ALM-16004 Hive服务不可用 ALM-18000
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell -d bigdata 执行以下命令查询表数据。 select strleft(worker,3) from eier; 父主题: 使用Hue
String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数
nger,默认周期为300000毫秒(5分钟)。FusionInsight Manager中的角色和用户组在同步至Ranger后都变为用户组(Group)。只有被用户关联了的角色和用户组才会自动同步至Ranger。 Ranger界面中创建的Role为用户或用户组的集合,用于灵活设
[ NO ] DATA ]② 限制 ① 和 ②的语法不能组合使用。 当使用了avro_schema_url属性时,以下操作是不支持的: 不支持CREATE TABLE AS操作 使用CREATE TABLE时不支持partitioned_by和bucketed_by 不支持使用alter
上报DataNode块数超过阈值告警时,表示该DataNode节点上块数太多,继续写入可能会由于磁盘空间不足导致写入HDFS数据失败。 可能原因 告警阈值配置不合理。 DataNode节点间数据倾斜。 HDFS集群配置的磁盘空间不足。 处理步骤 修改阈值配置 在FusionInsight Manager首页,选择“集群
ClickHouse SQL运行时长阈值,单位为秒。 N/A running_0004 SQL已经发生的数据扫描量。 Hive Spark HetuEngine ClickHouse SQL扫描数据量,单位为GB。 建议配置值:10240 N/A 父主题: 管理MRS集群SQL防御规则
装会失败。 在节点上安装客户端可以使用root或其它操作系统用户进行操作,该用户需要对客户端文件存放目录和安装目录具有操作权限,例如两个目录的权限为“755”。 使用omm和root以外的用户安装客户端时,若“/var/tmp/patch”目录已存在,需将此目录权限修改为“777
option("nullValue", "").save("/tmp/outputDir") 回答 Spark2x中对join语句重名字段做了判断,需要修改代码保证保存的数据中无重复字段。 父主题: Spark2x常见问题
v改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。 调用BE的check_tablet_segment_lost请求自动修复丢失的副本。 curl -X POST http://192
default库新建表。请充分考虑实际应用场景,再决定是否做出调整。 因为对执行用户做了限制,使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理
Broker实例扩容后长时间未完成分区均衡操作,导致Kafka服务长时间处于分区不均衡状态,可能会影响业务读写流量性能降低。 可能原因 迁移的分区数据量过大,限流参数设置的太小。 处理步骤 登录KafkaUI页面。 使用具有KafkaUI页面访问权限的用户,登录FusionInsight
说明 Ldap服务监听端口 21750 LDAP服务端口号。 重置LDAP账户密码 - LDAP用于数据管理、同步和状态检测的机机账户(cn=root,dc=hadoop,dc=com和cn=pg_search_dn,ou=Users,dc=hadoop,dc=com)。 如果被勾选
ignorePattern = ^$ client.sources.static_log_source.trackerDir = 传输过程中元数据存储路径 client.sources.static_log_source.maxBlobLength = 16384 client.sources
S文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”中查找“NameNode”下的GC_OPTS参数。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时,会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight Manager,然后选择“集群 >
] ) CUBE ( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: HetuEngine DQL SQL语法说明
String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 无 响应参数 状态码: