检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
提交Spark应用程序运行前,或者在使用CLI连接SparkSQL前,在Spark客户端执行如下命令获得认证。 kinit组件业务用户 配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中,配置“spark.kerberos.keytab”和“spark
172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。 需加入到supergroup用户组,并且授予“Hive管理员权限”。
ale/user.keytab”,“/opt/female/krb5.conf”。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers> <maxEventDelay>
ale/user.keytab”,“/opt/female/krb5.conf”。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers> <maxEventDelay>
logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
仅可在“properties.properties”文件中配置。 Other Kafka Consumer Properties - 其他Kafka配置,可以接受任意Kafka支持的消费参数配置,配置需要加前缀“.kafka”。 仅可在“properties.properties”文件中配置。 Taildir
logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND
进入“${DBSERVER_HOME}/sbin”目录,然后执行命令./status-dbserver.sh 检查备DBService的gaussDB资源状态是否正常,查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息: 例如: 10_10_10_231 gaussDB Standby_normal
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
进入“${DBSERVER_HOME}/sbin”目录,然后执行命令 ./status-dbserver.sh 检查备DBService的gaussDB资源状态是否正常,查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息: 例如: 10_10_10_231 gaussDB Standby_normal
切换到“${BIGDATA_HOME}/om-0.0.1/sbin/”目录。 执行以下命令检查备gaussDB资源状态是否正常 sh status-oms.sh 查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息,例如: 10_10_10_231 gaussDB Standby_normal
STUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/”进行Base64编码。在编码后所得字符串首位任意加上一个字母,即得到Hql参数的值。后台自动进行解码得到Spark SQL语句。 使用样例: 在Web界面输入Spark SQL语句“show
委托名称:填写委托名称,例如:agency-clickhouse-to-OBS。 委托类型:选择“普通账号”。 委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在弹出授权页面的搜索框内,搜索3新建的自定义策略,并勾选该策略,例如“clickhouse-policy”。
ms.sh 回显中“ResName”列出现“chrony”字样,执行2。 回显中“ResName”列出现“ntp”字样,执行20。 如果回显中“ResName”列同时出现“chrony”和“ntp”字样,则表示正在切换NTP服务模式,等待十分钟再次执行1,如果回显中“ResNam
进入“${BIGDATA_HOME}/om-server/om/sbin/”目录,然后执行./status-oms.sh命令检查备OMS数据库资源状态是否正常,查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息: 例如: 10_10_10_231 gaussDB Standby_normal
在添加资源计划时,可以参考表2配置相应的参数。 表2 资源计划配置项说明 配置项 说明 生效日期 资源计划的生效日期。默认是每日生效,也可以选择周一至周日任意一天或几天生效。 时间范围 资源计划的起始时间和结束时间,精确到分钟,取值范围[00:00, 23:59]。例如资源计划开始于早上8:00