检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /fe/fe.out 标准/错误输出的日志(stdout和stderr) /fe/fe.log 主日志,包括除fe.out外的所有内容 /fe/fe.warn.log
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*?)”。例如要筛选命名规则为字母数字组合的文件,如file1可输入“file\d*”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选包含“test”的对象,请输入“
nct聚合函数时执行查询语法报错的问题。 解决DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本
B服务的TSD实例的主机名或IP。 若当前运行环境与OpenTSDB安装环境处于同一个VPC网络中,使用连接的TSD实例IP或主机名均可。 若当前运行环境与OpenTSDB安装环境位于不同VPC中,仅可使用主机名进行访问。同时需在连接的TSD实例上绑定EIP,并把该EIP及该TS
支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息,包括订单、消费汇总、消费明细等。 若MRS集群与VPC不在同一个企业项目中,用户需要在IAM视图添加VPC查看权限后方可查看VPC及集群相关信息。 父主题: 产品功能
concat(binary1, ..., binaryN) → varbinary 将binary1,binary2,binaryN串联起来。这个函数返回与SQL标准连接符||相同的功能。 select concat(X'32335F',x'00141f'); -- 32 33 5f 00 14 1f to_base64(binary)
面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 Tableau访问MRS HetuEngine 约束与限制 已安装Tableau Desktop
RS集群使用相同安全组、VPC、子网网络,从而保证网络连通。 图2 线上同Region同VPC迁移 客户在华为云上自建大数据集群(或老版本的MRS集群)需要迁移到华为云MRS集群,且在同一个Region区域,但是使用不同VPC子网。需要使用VPC对等连接方式配置网络连通。 图3 线上同Region不同VPC迁移
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
下载MRS集群客户端进行使用,但是一直提示网络或者参数有问题。 原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
m文件夹,创建完成后如图1所示。 图1 文件夹列表 进入program文件夹,单击上传文件,从本地选择1中下载的程序包,“存储类别”选择“标准存储”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 提交sparkPi作业。 在MRS控制台选择“作业管理”,单击“
NULL TRUE FALSE NULL NULL NULL NULL FALSE TRUE GREATEST和LEAST 这两个函数不是SQL标准函数,是常用的扩展。参数中不能有Null值。 greatest(value1, value2, ..., valueN) 返回提供的最大值。
连接到HBase响应慢 问题现象 在相同的VPC下,外部集群通过Phoenix连接到HBase时,响应较慢。 原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv
登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL(默认为“3306”)和PostgreSQL(默认为“5432”)数据库端口。
务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时,请创建两个VPC之间的网络连接,打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时,在VPC管理控制台,为每个安全组分别添加安全组规则。规则的“协议”为“
在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的弹性云主机IP,并配置安全组出入规则。