检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
之间的数据访问鸿沟。为了解决这个问题,提出MemArts分布式客户端缓存,MemArts部署在计算侧的VM中,通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称 说明 CC SDK 提供OBSA(OBSA,hadoop客户端插件)
7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy
步骤3:创建Hive表 步骤4:将原始数据导入Hive并进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数。 表1 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 区域 选择区域。 不同区域的云服务产品之间内网互不相
ALM-12076 gaussDB资源异常 告警解释 HA软件每10秒周期性检测Manager的数据库。当HA软件连续3次检测到数据库异常时,产生该告警。 当HA检测到数据库正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12076 重要 是 告警参数 参数名称 参数含义
/app-logs和/apps目录在HDFS文件系统中,/mnt/obs/目录在OBS中。 用Alluxio加速数据访问 由于Alluxio利用内存存储数据,它可以加速数据的访问。例如: 上传一个文件test_data.csv(文件是一份记录了食谱的样本)到obs-mrstes
Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站:http://spark.apache.org/docs/2.2.2/。 图1 Spark架构 Spark开发接口简介 Spark支持使
StarRocks通过前缀索引 (Prefix Index) 和列级索引,能够快速找到目标行所在数据块的起始行号。 加速处理 StarRocks通过预先聚合、分区分桶、物化视图、列级索引等机制实现数据的加速处理。 数据模型 StarRocks支持四种数据模型,分别是明细模型(Duplicate Key
打开浏览器访问:华为提供开源镜像站(https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
7运行时,使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy
此参数是session级别设置,表示可并发执行的fragment数量,对CPU消耗较大,因此一般情况下不需要设置此参数。如果需要设置此参数来加速查询性能,必须遵循以下规则: 切勿设置该参数为全局生效,禁止使用set global方式进行设置。 设置参数值建议为偶数2或4(最大值不要超过单节点CPU核数的一半)。
refresh即可增量更新元数据。 定时使用compute increment stats <table_name>刷新常用表的统计信息,加速查询 Impala依赖表统计信息对查询消耗的资源做预估,准确的统计信息有利于Impala更合理地解析执行计划,分配资源。 定时进行小文件合
否在“iframe”、“frame”或“object”网站中的展现页面的指示,如果默认配置为“X-Frame-Options: DENY”,则确保任何页面都不能被嵌入到别的“iframe”、“frame”或“object”网站中,从而避免了点击劫持 (clickjacking) 的攻击。
否在“iframe”、“frame”或“object”网站中的展现页面的指示,如果默认配置为“X-Frame-Options: DENY”,则确保任何页面都不能被嵌入到别的“iframe”、“frame”或“object”网站中,从而避免了点击劫持 (clickjacking) 的攻击。
访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作
根据实际情况配置“选择下载位置”参数。 服务器端:下载到当前集群的主OMS节点上。 浏览器:下载到本地电脑。 远端节点:下载到主OMS节点外的其他节点上。 根据界面提示配置“保存到如下路径”参数。如果下载位置选择“浏览器”则无需配置该参数。 如果选择下载到“远端节点”还需参考表1进行配置。
HetuEngine_Client.tar”获取jdbc驱动包,并上传到Linux环境“/opt/client”目录下。 jdbc驱动包可在集群客户端软件包解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\XXX\”路径下获取“hetu-jdbc-*
数据库中抓取Data Change事件,然后推送至Kafka中,最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中,从而实现数据的实时入湖。 CDL服务包含了两个重要的角色:CDLConnector和CDLService。CDLConnector
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤
Manager使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未
Impala客户端使用实践 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户