检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 password= clusterName=default_cluster
p2,ip3,应用二配置loadBalancerIPList=ip3,ip1,ip2。 根据连接方式选择端口 普通集群默认开启8123端口,安全集群默认开启8443端口。 端口号查看方式:在集群的Manager界面选择“集群 > 服务 > ClickHouse > 配置”。 用于通过HTTP连接到ClickHouse
建议用户在使用大数据组件时,仅给可信的IP地址放开安全组访问权限。谨慎使用0.0.0.0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行验证(如图2所示),避免误操作带来的风险和损失。 图2
需解决异常,等集群恢复正常后继续升级节点。 处理步骤 方式一: 进入集群组件管理页,查看服务健康状态与角色状态,若存在“未启动”的角色,进入服务。 勾选未开启的实例,单击“更多”,选择“启动实例”。 若异常角色较多,可在管理操作处选择启动所有组件。 方式二: 进入集群manager页面,查看服务
WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”,否则修改为“是”。 修改完成后,将“立即启动”置为“是”,单击“确定”。 父主题: 管理HetuEngine计算实例
如果当前集群开启了Kerberos认证,执行以下命令认证当前用户,如果集群未开启Kerberos认证请跳过该步骤。 kinit 组件业务用户 执行以下命令,切换到IoTDB客户端运行脚本所在目录。 cd /opt/client/IoTDB/iotdb/sbin 集群未启用Kerbe
tly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 父主题: Flink应用开发概述
户hetuserver/hadoop.<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下: 对端集群是否已安装HetuEngine服务。 是:执行3。 否:执行2。 准备系统用于自动刷新的用户。
impala-examples-mrs-2.1-jar-with-dependencies.jar ,复制到“/opt/impala_examples”下。 开启Kerberos认证的安全集群下把从准备MRS应用开发用户获取的“user.keytab”和“krb5.conf”复制到“/opt/imp
impala-examples-mrs-2.1-jar-with-dependencies.jar ,拷贝到“/opt/impala_examples”下 开启Kerberos认证的安全集群下把从4获取的user.keytab和krb5.conf拷贝到/opt/impala_examples/conf下。普通集群可跳过该步骤。
合理地设计表结构、行键、列名能充分利用HBase的优势。本样例工程以唯一编号作为RowKey,列都存储在info列族中。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。
合理地设计表结构、行键、列名能充分利用HBase的优势。本样例工程以唯一编号作为RowKey,列都存储在info列族中。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。
Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题: 使用Hudi
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 password= clusterName=default_cluster
deManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题: 使用Yarn
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Broker的存储目录 迁移Kafka节点内数据 均衡Kafka扩容节点后数据 父主题: 使用Kafka