检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中调测Spark应用 在程序代码完成开发后,您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 zkNode_IP:zkNode_Port是ZooKeeper的URL,多个URL以逗号隔开。例如:“192.168.81.37:2181,192.168.195.232:2181,192
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 出现该告警说明某些进程发生了crash。如果是关键进程发生crash,可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。 处理步骤 以下解析查看core文件堆栈信息的操作有
percentage DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。 整数值,取值范围是0~100。 10 父主题: HDFS企业级能力增强
是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。 对密码的维护建议如下: 专人保管操作系统密码。 密码需要满
进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图2所示。 图2 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments
1 集群的健康检查中存在一项误报,而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后,提示集群异常,补丁安装终止。在确认报错是误报后,客户可以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出健康检查报告,
percentage DataNode预留空间占总磁盘空间大小的百分比。DataNode会永久预留由此百分比计算得出的磁盘空间大小。 整数值,取值范围是0~100。 10 父主题: HDFS企业级能力增强
为95%)时产生该告警。 当FE节点堆内存的使用率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50217 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -ls 文件或目录路径命令,检查该目录下的文件或目录是否是可以删除的无用文件。 是,执行8。 否,执行9。 执行hdfs dfs -rm -r 文件或目录路径命令。确认删除无用的文件后,等待文件在垃圾站中超过保
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
} } } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包
exceeds the limit : 2, current count distinct times : 2 ... 若SQL防御规则中设置的动作是“拦截”,则命令直接执行失败,系统回显信息如下: ... Error: Error while compiling statement: FAILED:
807_02/tables/dblv85.startsea_zh_imoriginck_new/20201031/piece_4/shards/1 has been successfully executed by 8%2D5%2D226%2D156#20220807124849_28651
MINUTES)) GROUP BY window_start, window_end; 窗口去重语句 Window Deduplication是一种特殊的重复数据删除,它删除在一组列上重复的行,为每个窗口和分区键保留第一个或最后一个。 语法: SELECT [column_list]
指定租户是否是一个叶子租户。 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。 计算资源 Yarn 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 如果是叶子租户,叶子租户可直接提交到任务队列中。
服务配置 > 全部配置”,在右上角搜索“dfs.single.replication.enable”,查看该参数值是否为“false”。 是,检查结束。 否,请确认集群是否有单副本诉求,若没有则执行2。 也可登录FusionInsight Manager界面,选择“集群 > 服务