检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
table时默认选项为RESTRICT，RESTRICT只会更改元数据，不会修改此操作之前创建的partition的表结构，而只会修改之后创建的新的partition，所以查询时旧的partition中的值全为NULL。 处理步骤 add column时加入cascade关键字即可，例如：
n）、是不是外表（external）等。 LIKE子句用于在新表中包含来自现有表的所有列定义。可以指定多个LIKE子句，从而允许从多个表中复制列。如果指定了INCLUDING PROPERTIES，则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同，则
spark.examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <checkP
spark.examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <checkP
修改。更新客户端，具体请参见更新客户端（3.x之前版本）。 使用客户端 如果当前集群已启用Kerberos认证，登录MRS Manager页面，创建属于“opentsdb，hbase，opentsdbgroup和supergroup”组且拥有HBase权限的用户，例如创建用户为o
spark.examples.SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount
table_name 表名。 col_name 表中的列名称。列名称包含字母，数字和下划线（_）。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如： 无效场景：将Decimal数据精度从（10
table_name 表名。 col_name 表中的列名称。列名称包含字母，数字和下划线（_）。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如： 无效场景：将Decimal数据精度从（10
Spark安装包做修改。 需要安装其他MRS还未支持的大数据组件。 对于上述定制化的场景，可以选择登录到每个节点上手动操作，之后每扩容一个新节点，再执行一次同样的操作，操作相对繁琐，也容易出错。同时手动执行记录不便追溯，不能实现“按需创建、创建成功后即处理数据”的目标。 因此，M
option("kafka.security.protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 object SecurityKafkaWordCount
实例”，将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”，该值可通过单击角色名称，在“实例配置”页面中选择“全部配置”，搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址，并执行df -lh命令，查看磁盘占用率为1
spark.examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用，但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1
资源组排队超过阈值可能导致大量任务处于排队状态，Presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）
option("kafka.security.protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount
图3 日志异常 通过lsof命令查看当前节点Kafka进程句柄使用情况，发现占用的句柄数达到了47万。 图4 句柄数 排查业务代码，不停地创建新的Producer对象，未正常关闭。 解决办法 停止当前应用，保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码，解决句柄泄露问题。
资源组排队超过阈值可能导致大量任务处于排队状态，presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）
INSERT INTO 新创建的表 SELECT 指定的字段 FROM 已存在需要修改列的表; 如果表数据量较大，可按时间过滤分批次将数据导入到新表，减小CPU或MEM内存瞬时冲高占用问题，影响查询业务，命令为： insert into tab1 select col from tab
hoodie.run.compact.only.inline = true; --compaction只执行已生成的计划，不产生新计划。 set hoodie.cleaner.commits.retained = 120; --清理保留120个commit。
inline=false; 异步方式由spark-sql来实现。 如果需要在异步compaction时只执行已经产生的compaction调度计划而不创建新的调度计划，则需要通过set命令设置以下参数： set hoodie.compact.inline=true; set hoodie.schedule
其值需要被动态添加（add），更新（update）或显示（display）的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性： 表2 属性描述 属性 描述 hoodie.insert.shuffle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
