检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
法和使用说明。 基本语法 方法一：在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”，则默认使用客户端登录时选择的数据库作为数据库名称。 CREATE TABLE [IF NOT EXISTS]
GC_OPTS”参数中“-Xmx”的值为“TagSync使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。
Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。
r close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群宕机后，不能提供Admin接口功能和实时写入接口功能，只能提供Get、Scan查询服务。 操作步骤 将在准备集群认证用户信息时获取的主集群keytab认证文件“user
ight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上
> 告警 > 告警”，在告警列表中单击此告警。 查看“定位信息”，获取告警产生的JournalNode节点IP地址。 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中查看告警节点上是否存在JournalNode实例。 是，执行5。 否，执行4。 选择“运维
failed” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因为用户名、密码的配置错误。 可排查“UserInfo.properties”文件中“username”和“password”的值是否配置正确。 父主题： Manager应用开发常见问题
上传流程文件。 使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令，将“dataLoad”目录上传到HDFS某个指定目录（oozie_cli用户需要对该目录有读写权限）。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application
GC_OPTS”参数中“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍（或根据实际情况进行调整）。 重启受影响的服务或实例观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。
使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
on HBase四种不同场景的样例工程。 帮助用户快速了解Spark各部件的编程接口。 开发Spark应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Spark应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调优程序
ight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上
flatMapGroupsWithState(...)操作中，用户自定义状态的schema或者超时类型都不允许发生变化；允许用户自定义state-mapping函数变化，但是变更结果取决于用户代码；如果需要支持schema变更，用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中，用户自定义状态的schema或者超时类型都不允许发生变化；允许用户自定义state-mapping函数变化，但是变更结果取决于用户代码；如果需要支持schema变更，用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中，用户自定义状态的schema或者超时类型都不允许发生变化；允许用户自定义state-mapping函数变化，但是变更结果取决于用户代码；如果需要支持schema变更，用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME”
样。 修改postgresql.conf配置信息，localhost修改成本节点IP，remotehost修改成对端节点IP。 登录Manager页面重启备DBServer节点。 父主题： 使用DBservice
重启角色实例。 重启主ResourceManager实例，会发生ResourceManager实例主备倒换，倒换过程中，Yarn无法提交新作业，已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例，服务业务不受影响。
Hudi表必须配置precombine字段。 在数据同步过程中不可避免会出现数据重复写入、数据乱序问题，例如：异常数据恢复、写入程序异常重启等场景。通过设置合理precombine字段值可以保证数据的准确性，老数据不会覆盖新数据，也就是幂等写入能力。该字段可用选择的类型包括：业务表中更新时间戳、数据库的提交时间
客户端登录时可以不携带--user和--password参数。Kerberos集群场景下没有默认用户，必须在Manager上创建该用户名。 如果当前集群未启用Kerberos认证（集群为普通模式），客户端登录时如果需要指定用户名和密码。可以使用默认的default用户登录（def
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
