检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /fe/fe.out 标准/错误输出的日志(stdout和stderr) /fe/fe.log 主日志,包括除fe.out外的所有内容 /fe/fe.warn.log
流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
到所有地址端口:permission java.net.SocketPermission "*", "connect,resolve"; 标准权限 表1 文件权限 权限类型 权限名 允许的操作 示例 java.io.FilePermission 文件名:指定文件 -:当前目录和子目录中的所有文件
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([\s\S]*?)”。例如要筛选命名规则为字母数字组合的文件,如file1可输入“file\d*”。 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选包含“test”的对象,请输入“
penSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为您全方位提供托管的ELK生态云服务,兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。
面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 Tableau访问MRS HetuEngine 约束与限制 已安装Tableau Desktop
concat(binary1, ..., binaryN) → varbinary 将binary1,binary2,binaryN串联起来。这个函数返回与SQL标准连接符||相同的功能。 select concat(X'32335F',x'00141f'); -- 32 33 5f 00 14 1f to_base64(binary)
Administrator权限)。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制,可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,例如:mrs_ecs_obs。
步骤一:创建ECS委托 步骤二:为MRS集群配置委托 步骤三:创建OBS文件系统 步骤四:Hive访问OBS文件系统 步骤一:创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。
弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。
m文件夹,创建完成后如图1所示。 图1 文件夹列表 进入program文件夹,单击上传文件,从本地选择1中下载的程序包,“存储类别”选择“标准存储”。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 提交sparkPi作业。 在MRS控制台选择“作业管理”,单击“
NULL TRUE FALSE NULL NULL NULL NULL FALSE TRUE GREATEST和LEAST 这两个函数不是SQL标准函数,是常用的扩展。参数中不能有Null值。 greatest(value1, value2, ..., valueN) 返回提供的最大值。
描述:返回所有输入值的总体标准差。 select stddev_pop(x) from (values (1),(2),(3),(4)) as t(x);-- 1.118033988749895 stddev_samp(x) 描述:返回所有输入值的样本标准偏差。 select stddev_samp(x)
面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong Desktop
Query Language—持续查询语言)。CQL具有以下几个特点: 使用简单:CQL语法和标准SQL语法类似,只要具备SQL基础,通过简单地学习,即可快速地进行业务开发。 功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。
Flink WebUI特点 Flink WebUI主要有以下特点: 企业级可视化运维:运维管理界面化、作业监控、作业开发Flink SQL标准化等。 快速建立集群连接:通过集群连接功能配置访问一个集群,需要客户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问
频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源,并且RegionServer压力也比较大。 本实践基于华为云MapReduce服务,用于指导您创建MRS集群后,使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region