检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MAX（单分区数据量大小(G)/2G，再后向上取整，1） 需要使用的是表的总数据大小，而不是压缩以后的文件大小 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 确认建表SQL DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表：
SSL加密配置 服务端配置。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager，选择“集群
everyone.if.no.acl.found”或配置为“false”。 当ACL设置为false不允许采用Kafka非安全端口21005来进行访问。 通过客户端命令查看topic的ACL权限设置信息： [root@10-10-144-2 client]# kafka-acls.sh
“/tmp”。如果为“/tmp”目录设置NOEXEC权限，然后HBase shell会启动失败并发生“java.lang.UnsatisfiedLinkError: Permission denied”异常。 因此，如果为“/tmp”目录设置了NOEXEC权限，那么“java.io
默认只支持timestamp '*' 或者data '*'的格式，如果使用之前的语法插入数据表，会得到NULL值。 回答 在Spark客户端中执行以下命令设置“spark.sql.convert.special.datetime”参数即可兼容之前的语法。 set spark.sql.convert
在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”，单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。
r实例，如果TimelineServer实例故障或未启动，需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabled=false，否则hive任务会执行失败。 参数设置完成后，Hive Queries界面即可展示数据，但无法展示历史数据，展示效果如下:
用于实现使用新SimpleConsumer API订阅Topic，并进行消息消费。（注意：SimpleConsumer API仅支持访问未设置ACL的Topic，安全接口说明见Kafka安全接口介绍） SimpleConsumer API属于lowlevel的Consumer A
客户端安装目录/Spark/spark/conf/spark-defaults.conf命令，打开spark-defaults.conf文件，设置“spark.executor.extraClassPath” 取值为“${PWD}/*”。 重新尝试提交任务。 父主题： 使用Spark
r实例，如果TimelineServer实例故障或未启动，需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabled=false，否则hive任务会执行失败。 参数设置完成后，Hive Queries界面即可展示数据，但无法展示历史数据，展示效果如下：
Multicast功能 HBase Multicast特性涉及Publisher（HMaster）以及Listener（客户端）两个角色，通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本，Publisher端默认开启了该特性。
测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端配置文件压缩包为“FusionI
序所需配置文件。 登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待
页面。 密码/确认密码：设置admin用户密码，该密码请妥善保管。 登录方式：选择登录ECS节点的登录方式，本例选择“密码”方式。 用户名：默认为“root”，用于远程登录ECS机器。 密码/确认密码：设置root用户密码。 高级配置：开启高级配置，并设置“委托”： 单击“现有委
Kafka服务异常。 客户端Producer侧采用非安全访问，服务端配置禁止访问。 客户端Producer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 Producer发送数据到Kafka失败，可能原因客户端Producer侧问题或者Kafka侧问题。 查看Kafka服务状态：
即时备份”，可以立即运行备份任务。 创建元数据备份任务（MRS 2.x及之前版本） 创建备份任务。 在MRS Manager，选择“系统设置 > 备份管理”。 单击“创建备份任务”。 设置备份策略。 在“任务名称”填写备份任务的名称。 在“备份类型”选择备份任务的运行类型，“周期备份”表示按周期自动执
如果不做相应等待，可能造成数据丢失风险。 10分钟后，检查该告警是否恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
max-lifetime 该参数为服务器端参数，设置Token的最大存活时间，单位为毫秒。取值范围：10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数，设置Token renew的
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同的partition，
为什么提交Spark Streaming应用超过token有效期，应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟，设置“dfs.namenode.delegation.token.renew-interval”小于60秒，提交Spark Streaming
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
