检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
acl”默认为“creator”，即谁创建谁有权限，由于原有用户已经使用ZooKeeper上的/flink目录，导致新创建的用户访问不了ZooKeeper上的/flink目录。 新用户可以通过以下操作来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 修改配置项“high-availability
支持用户将数据块的各个副本存放在指定具有不同标签的节点，如某个文件的数据块的2个副本放置在标签L1对应节点中，该数据块的其他副本放置在标签L2对应的节点中。 支持选择节点失败情况下的策略，如随机从全部节点中选一个。 如图7所示。 /HBase下的数据存储在A，B，D /Spark下的数据存储在A，B，D，E，F
单击“管理安全组规则”，检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是，修改入口方向Any协议的远端为指定IP地址。如果不是，则无需修改。 修改成功后，重启集群。 建议与总结 关闭入口方向的Any协议，或者指定入口方向的Any协议远端为指定IP。 父主题： 使用Yarn
Spark SQL不会对它做日期格式的检查，就是把它当做普通的字符串进行匹配。以上面的例子为例，如果数据格式为"yyyy-mm-dd"，那么字符串'2016-6-30'就是不正确的数据格式。 父主题： SQL和DataFrame
用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后，执行chmod 666 /dev/null命令，修改“/dev/null”的权限值为“666”。 执行ls -al /dev/null命令，查看修改的“/d
实例”，获取HSFabric所有实例的业务IP；在“配置”页签，搜索“gateway.port”，获取HSFabric的端口号。 user 访问HetuEngine的用户名，即在集群中创建的“人机”用户的用户名。 password 在集群中创建的“人机”用户的用户密码。 tenant 指
通过选择集群所建的区域及使用的云资源规格，一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者
Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class HoodieSortExample<T extends HoodieRecordPayload>
Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class HoodieSortExample<T extends HoodieRecordPayload>
on 10.1.1.6 回答 动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。 当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。 图1 界面无法显示title
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。 图1 界面无法显示title
authenticate.enableSaslEncryption 是否启用基于SASL的加密通信。 安全模式：true 普通模式：false spark.network.crypto.enabled 是否启用基于AES的RPC加密。 安全模式：true 普通模式：false spark.network
& 禁用跨AZ特性。 基于此策略新建的Topic的各个Partition的Leader会在集群节点上随机分配，但会确保同一Partition的不同Replica会分配在不同的机架上，所以当使用此策略时，需保证各个机架内的节点个数一致，否则会导致节点少的机架上的机器负载远高于集群平均水平。
其中“myType”的取值范围为{topics_limit, users, clients}，对应的“myName”的取值范围为{topic的名称，组件业务用户，客户端ID}。 其中“producer_byte_rate”和“consumer_byte_rate”分别为生产限流的速度和消费限流的速度，其单位均为字节/秒。
实例”，获取HSBroker所有实例的业务IP；在“配置”页签，搜索“server.port”，获取HSBroker端口号。 user 访问HetuEngine的用户名，即在集群中创建的“人机”用户的用户名。 password 在集群中创建的“人机”用户的用户密码。 tenant 指定
海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HB
println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn
因此基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。 如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题，还是可以继续采用Flink状态索引，按照规范去优化对应的配置参数即可。 建议 基于Flink的流式写入的表，在数
谁有权限，由于原有用户已经使用ZooKeeper上的/flink_base/flink目录，导致新创建的用户访问不了ZooKeeper上的/flink_base/flink目录。 新用户可以通过以下操作来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
