检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业，不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
ode访问数据。 HttpFS：如果HttpFS实例故障，客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其他途径（如shell命令）来访问HDFS上的文件。 JournalNode：如果一个JournalNode实例故障，命名空间和数据日志将无法持久化到磁盘
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录，重启业务程序。 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 父主题： Spark应用开发常见问题
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录，重启业务程序。 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 父主题： Spark应用开发常见问题
监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
Hive使用WHERE条件查询超过3.2万分区的表报错 问题 Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常。 “metastore.log”中打印的异常信息包含以下信息： Caused by: java.io.IOException: Tried to
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径，如“$SPARK_HOME/jars/streamingClient010/*”。
服务”，单击服务视图中待操作的服务名称。 选择“实例”页签，单击待操作的实例。 选择“实例配置”，单击“导出”，导出配置参数文件到本地。 在实例配置页面单击“导入”，在弹出的配置文件选择框中定位到实例的配置参数文件，即可导入所有配置。 MRS 2.x及之前版本集群： 登录MRS Manager页面。 单击“服务管理”。
>> authorized_keys 执行以下命令移动临时公钥文件到其他目录，例如，移动到“/tmp”目录。 mv -f id_rsa.pub_bak /tmp 复制主管理节点的“authorized_keys”文件到集群内其他节点： scp authorized_keys node_ip:/${HOME}/
向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录，重启业务程序。 删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 父主题： Spark应用开发常见问题
参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略，默认KEEP_LATEST_COMMITS 否 retain_commits 仅对KEEP_LATEST_COMMITS策略有效 否
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 下载导入该用户的krb5.conf和user.keytab文件到hive-jdbc-example-multizk包中的resources目录下。
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径，如“$SPARK_HOME/jars/streamingClient010/*”。
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径，如“$SPARK_HOME/jars/streamingClient010/*”。
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 下载导入该用户的krb5.conf和user.keytab文件到hive-jdbc-example-multizk包中的resources目录下。
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
