检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待同步的Hudi表存储路径 Y - --partitioned-by 分区键- N - --partition-value-extractor 分区类，需实现PartitionValueExtractor ，可以从HDFS路径中提取分区值 N SlashEncodedDayPartitionValueExtractor
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到管理控制台的，其级别默认为INFO。如果需要开启DEBUG级别
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存？ 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行，建议将“carbon.unsafe.working
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存？ 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行，建议将“carbon.unsafe.working
使用客户端IP作为用户。 自定义认证提供程序实现org.apache.zookeeper.server.auth.ExtAuthenticationProvider.getUserName（String）方法以获取用户名。 如果没有实现，从认证提供程序实例获取用户名将被跳过。 Z
典型场景：从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁
使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。
HiveACLExternalCatalog 指定Hive的外部目录实现。启用Spark ACL时必须提供。 spark.sql.hive.implementation org.apache.spark.sql.hive.HiveACLClientImpl 指定Hive客户端调用的实现。启用Spark ACL时必须提供。
如果在创建索引后将列族TTL更改为较低值，则索引可能会晚于用户数据被删除。 HBase表启动容灾之后，主集群新建二级索引，索引表变更不会自动同步到备集群。要实现该容灾场景，必须执行以下操作： 在主表创建二级索引之后，需要在备集群使用相同方法创建结构、名称完全相同的二级索引。 在主集群手动将索引列族
创建SQL/JAR作业（流式/批作业） 定义Flink作业的API，包括Flink SQL和Flink Jar作业。 如何创建FlinkServer作业 作业管理 管理创建的作业，包括作业启动、开发、停止、删除和编辑等。 如何创建FlinkServer作业 父主题： 使用Flink
待同步的Hudi表存储路径 Y - --partitioned-by 分区键- N - --partition-value-extractor 分区类，需实现PartitionValueExtractor ，可以从HDFS路径中提取分区值 N SlashEncodedDayPartitionValueExtractor
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径，该目录大小限制可查询结果集大小； Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 MRS 1.9.2之后的版本需要按HBase Phoenix API接口介绍中下载和配置开源的phoenix包。
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径，该目录大小限制可查询结果集大小； Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 父主题： HBase应用开发常见问题
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径，该目录大小限制可查询结果集大小。 Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 父主题： HBase应用开发常见问题
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到管理控制台的，其级别默认为INFO。如果需要开启DEBUG级别
park目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。 停止作业：“stop”命令仅适用于Flink源（source）实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令，“stop”停止作业的方式更为优雅，但可能导致停止作业失败。
*\.db,(hdfs|obs|viewfs)://[\w|\-|\.]+/user/hive/warehouse/.*\.db"，从而实现防止建表和建库等操作时location指向已经存在的库的路径。 升级HDFS上组件的zip包 登录集群主节点并执行以下命令： su - omm
NameNode，当HMaster主节点出现故障时，HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 ZooKeeper和Kafka的配合关系 ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。
HiveACLExternalCatalog 指定Hive的外部目录实现。启用Spark ACL时必须提供。 spark.sql.hive.implementation org.apache.spark.sql.hive.HiveACLClientImpl 指定Hive客户端调用的实现。启用Spark ACL时必须提供。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
