检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： // 通过primaryKey指定主键，如果是复合主键需要用逗号分隔 create table
worker.config.properties “retry-policy”设置为“TASK”时可配置该参数，不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。
如果程序运行在Linux上，则需要krb5.conf和keytab文件的路径， * 修改为在Linux下客户端文件的绝对路径。并且需要将样例代码中的keytab文件和principal文件 * 分别修改为当前用户的keytab文件名和用户名。 * */ private
给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计
码后重新下载认证凭据并替换旧凭据。 修改admin用户密码 通过Manager页面修改admin用户密码： 开启Kerberos认证的集群和开启弹性公网IP功能未开启Kerberos认证的集群支持通过Manager界面修改admin密码。 使用admin账户登录Manager页面。
UI”右侧的超链接，进入CDL原生界面。 选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“pgsql”和“kafka”连接，相关数据连接参数介绍请参见创建CDL数据库连接。 表1 PgSQL数据连接配置参数 参数名称 示例 Link Type pgsql
Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 job 配置当前策略适用的job名，可以填写多个值。这里支持通配符，例如：test、test*、*。 “Include”策略适用
上至＃255、@255、$255和％255 创建索引时，系统会在表中按以上优先级顺序检查是否存在以上列族，如果不存在，则将第一个不存在的列族设为索引列族。 例如： 数据表中仅存在d列族，则索引列族默认为#。 数据表中已存在d和#列族，则默认索引列族默认为@。 数据表中已存在d、#和$列族，则索引列族默认为@。
Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ
实例 > 任一MetaStore实例 > 图表”，在“图表分类”选择“操作统计”，查看“create_table API元数据操作耗时情况”和“add_partitions_req api执行情况”等监控，看SQL运行慢是否是因为MetaStore访问变慢。 父主题： Hive故障排除
html。 常用Command YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，
html。 常用Command YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，
上至＃255、@255、$255和％255 创建索引时，系统会在表中按以上优先级顺序检查是否存在以上列族，如果不存在，则将第一个不存在的列族设为索引列族。 例如： 数据表中仅存在d列族，则索引列族默认为#。 数据表中已存在d和#列族，则默认索引列族默认为@。 数据表中已存在d、#和$列族，则索引列族默认为@。
前提条件 MRS集群管理员已明确业务需求。 登录Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”，然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限： “集群管理操作权限”：Yarn管理员权限。 “调度队列”：队列资源管理。
目录下的样例工程文件夹“hive-jdbc-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-jdbc-example\src\main\resources”目录下。 进入客户端解压
的消费组，单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态：“pending”和“running”，分别表示“曾经消费过但现在未消费”和“现在正在消费”，在弹框右上角，可以输入Topic名来进行过滤。 单击Topic名称，进入Consumer Of
作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。 灵活的数据
周期备份任务失败，可能会导致长时间没有可用的备份包，在系统出现异常时，无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足 在MRS Manager界面，单击“告警管理”。 在告警列表中单击该告警的，从“定位信息”处获得“任务名”。
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
