检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
子性的写入到目标分区，同时也能保证Consumer只能看到成功提交的事务消息。Kafka中的事务特性主要用于以下两种场景： 生产者发送多条数据可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么都发送失败。 read-process-write模式：将消息消费和生
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中，方便用户直接通过执行SQL语句对审计日志进行查看和分析，无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认
口，当事件失败时，Storm会自动管理bolt的状态并且执行恢复。 消息采样和调试：在Storm UI界面可以开关拓扑或者组件级别的调试，将流消息按采样比率输出到指定日志中。 Worker动态分析：在Storm UI界面可以收集Worker进程的Jstack、Heap日志，并且可以重启Worker进程。
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
Task节点的实例规格，例如：{ECS_FLAVOR_NAME}.linux.bigdata，{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
常运行，此阶段为有效期；资源到期而未续费时，将陆续进入宽限期和保留期。 图1 包年/包月MRS资源生命周期 到期预警 包年/包月MRS集群资源在到期前第7天内，系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/
-append 当同时使用-update选项时，追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件，其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时，则该文件不会被拷贝。
的数字为移入的Partition目录个数）。 添加待移入的Partition行到文件末尾（行结构为“Topic名称 Partition标识 Offset”，直接复制5中保存的行数据即可）。 移动数据，将待移动的Partition文件夹移动到目的目录下，移动完成后执行chown omm:wheel
登录FusionInsight Manager界面，选择“集群 > 服务 > Hive > 配置”。 在搜索框中搜索“hive.cbo.enable”参数，将值修改为“true”永久开启CBO功能，保存配置并重启受影响的实例使配置生效。 手动收集Hive表已有数据的统计信息。 执行以下命令，可以手
IAM用户同步MRS集群说明 IAM用户同步是指将绑定MRS相关策略的IAM用户同步至MRS系统中，创建同用户名、不同密码的账号，用于集群管理。同步之后，用户可以使用IAM用户名（密码需要Manager的管理员admin重置后方可使用）登录Manager管理集群。也可以在开启Ke
Manager提供系统中各组件的权限集中管理功能。 Manager引入角色的概念，采用RBAC的方式对系统进行权限管理，集中呈现和管理系统中各组件零散的权限功能，并且将各个组件的权限以权限集合（即角色）的形式组织，形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节，另一方面对MRS集群管理
"statusCode":0}]} 如果无法查询出健康状态码或者浏览器一直无响应，可能是由于Oozie进程故障导致服务不可用，请参考13进行处理。 根据查询到的错误码执行相关处理步骤，请参考表1。 表1 Oozie服务健康状态码一览表 状态码 错误描述 错误原因 处理步骤 0 服务正常 无 无 18002
安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
的数字为移入的Partition目录个数）。 添加待移入的Partition行到文件末尾（行结构为“Topic名称 Partition标识 Offset”，直接复制5中保存的行数据即可）。 移动数据，将待移动的Partition文件夹移动到目的目录下，移动完成后执行chown omm:wheel
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择 提供强大而灵活的一致性模型，允许您根据每个请求选择一致性要求，包括用于严格可序列化的一致性的选项
SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQL语句查询src_data表中的数据，最后可将src_data表删除。 前提条件 将OBS数据源中的数据写入Spark SQL表中时，需要先获取AK/SK。获取方法如下：
在“Topology Visualization”区域，用户可以执行拓扑可视化操作，即单击“Show Visualization”。拓扑可视化后，WebUI将显示拓扑结构图。 父主题： 使用Storm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
