检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建
审计 MRS服务在管理控制台上的操作日志，例如创建或删除MRS集群的日志记录，通过云审计服务（Cloud Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
当前开源社区提供了PartialUpdateAvroPayload机制实现部分列更新，但该功能在多流更新，每条流更新不同列场景下会出现数据相互覆盖的问题。 通过引入sequence组的概念，Hudi可以很好的解决该问题，实现真正的部分更新。 按建表时按需求，将表中的列切分成不同的sequ
HetuEngine跨域功能简介 HetuEngine提供统一标准SQL对分布于多个地域（或数据中心）的多种数据源实现高效访问，屏蔽数据在结构、存储及地域上的差异，实现数据与应用的解耦。 图2 HetuEngine跨域功能示意 跨域关键技术和优势 无单点瓶颈：HSFabric可进行
UDF开发规范 本章节主要介绍开发Doris UDF程序时应遵循的规则和建议。 Doris UDF开发规则 UDF中方法调用必须是线程安全的。 UDF实现中禁止读取外部大文件到内存中，如果文件过大可能会导致内存耗尽。 需避免大量递归调用，否则容易造成栈溢出或oom。 需避免不断创建对象或数组，否则容易造成内存耗尽。
修改MRS角色实例参数 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下，集群管理员可以将某服务所有配置数据导入或者导出，实现配置结果的快速复制。 修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 修改MRS角色实例参数对系统的影响 修改角色实例配置后，
在弹出的提示框中单击“知道了”，开始授权。界面提示“授权成功。”，单击“完成”，委托成功创建。 创建存算分离集群 配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。 新创建存算分离集群： 进入购买MRS集群页面。 单击“购买集群”，进入“购买集群”页面。
DBC接口实现创建表、加载数据、查询数据等功能。 Presto HCatalog处理数据Java示例程序。 OpenTSDB opentsdb-examples 通过调用OpenTSDB接口可实现采集大规模集群中的监控类信息，并可实现数据的秒级查询。该样例程序主要实现写入数据、查询数据、删除数据等功能。
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务
概述 “数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式： 从HDFS/OBS中导出数据到SFTP服务器
ClickHouse集群配置说明 背景介绍 ClickHouse通过多分片多副本的部署架构实现了集群的高可用，每个集群定义多个分片，每个分片具有2个或2个以上副本。当某节点故障时，分片内其他主机节点上的副本可替代工作，保证服务能正常运行，提高集群的稳定性。 本章节仅适用于MRS 3
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据存储在Kafka组件中。向Ka
Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
