检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Bucket，需按照已有的数据量来进行分区分桶，能更好的提升导入及查询性能。Auto Bucket会造成Tablet数量过多，最终导致有大量的小文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”，等待任务停止完成后选择“更多 > 编辑”。 配置“Hudi表属性配置”的“Table Primarykey Mappin
不支持外部表（external）。 数据文件的格式应当与目标表的文件格式一样。 创建目标表时，应该指定好文件的分隔符，并且分隔符要与数据文件中的分隔符保持一致。 示例 创建文件“f1.txt”，填入3行数字，并通过HDFS上传到“/opt/load_test/”目录下。 --读取f1.txt的数据填充表f1 CREATE
原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
通过https协议连接安全集群，服务端的证书没有被认证，导致连接失败。 可以用集群内节点上java jdk目录下的cacerts（例如：/opt/Bigdata/jdk1.8.0_232/jre/lib/security/cacerts）替换当前节点java jdk目录下的cacerts来解决。
db/dataplan_modela_csbch2":spark:hive:drwx------ 根因分析。 创建集群时创建的默认用户使用了相同的uid，造成用户错乱。在大量创建用户的场景下，触发了该问题，导致在创建表时偶现Hive用户没有权限。 处理步骤 重启集群sssd进程。 以root用户执行service
功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark
功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark
Hive常见SQL语法说明 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题： 使用Hive
0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 按需和包周期节点组扩容时有不同的返回体，包周期节点组返回订单ID，后续需要根据订单ID进行支付才能真正进行扩容。
(“a”);方式导入数据，少量少次写可以，多量多频次时需使用Doris提供的StreamLoad、BrokerLoad、SparkLoad或者Flink Connector方式。 在Flink实时写入数据到Doris的场景下，CheckPoint设置的时间需要考虑每批次数据量，如果每批次数据太小会造成大量小文件，推荐值为60s。
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 缩容成功 错误码 请参见错误码。 父主题： 集群管理接口
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。
时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。
在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 如需手动扩缩容，修改配置界面中“Worker容器资源配置”中的“数量”的值，单
加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理，导致根目录写满。 Spark数据保护黑名单中防止创建表Location指定路径到库后，导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
