检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
$SPARK_HOME/conf/spark-defaults.conf 集群开启ZooKeeper的SSL特性后(查看ZooKeeper服务的ssl.enabled参数),请在执行命令中添加-Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org
setProperty("user", "YourUserName"); properties.setProperty("SSL", "false"); Class.forName("io.xxxsql.jdbc.xxxDriver"); }
登录弹性云服务器(VNC方式) 登录MapReduce服务管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。 根据界面提示,输入Master节点的用户名和密码。
MRS大数据集群采用Manager实现集群的管理,而管理集群的相关服务,如HDFS存储系统的NameNode,Yarn资源管理的ResourceManager,以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线,集群规模不断扩大,Master节点承担的管理负荷也越来越高,
操作结构化数据,其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HiveQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HiveQL完成海量结构化数据分析。
选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT TLS_EXPLICIT TLS_IMPLICIT 文件名编码类型 文件名或者文件路径名的编码类型。 表3
关闭IoTDB组件的SSL配置。 登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置”,搜索“SSL_ENABLE”,如果该参数值为“true”,需修改为“false”并单击“保存”,关闭SSL配置。 修改IoTDB客户端对应的参数关闭SSL配置: cd
HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HQL完成海量结构化数据分析。
ip:port。 security.protocol:Kafka客户端使用的认证协议,默认值“SASL_PLAINTEXT”,不支持使用SASL_SSL协议。 sasl.mechanism:客户端使用的认证机制,默认值“PLAIN”。 manager_username:集群的用户。 man
$SPARK_HOME/conf/spark-defaults.conf 集群开启ZooKeeper的SSL特性后(查看ZooKeeper服务的ssl.enabled参数),请在执行命令中添加-Dzookeeper.client.secure=true -Dzookeeper.clientCnxnSocket=org
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更,所有DDL变更操作顺序为: 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS
HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HQL完成海量结构化数据分析。
ClickHouse用户及权限管理 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。
升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步,可在组件管理观察到存在异常角色。 若未同步,可在集群Manager页面观察到存在异常角色。 原因分析 需解决异常,等集群恢复正常后继续升级节点。 处理步骤 方式一: 进入集群组件管理页,查看服务健康状态与
最后可将src_data表删除。 前提条件 将OBS数据源中的数据写入Spark SQL表中时,需要先获取AK/SK。获取方法如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入登录密码和
以omm用户分别登录主备管理节点。 在主管理节点执行以下命令查看管理平面网关。 cat ${BIGDATA_HOME}/om-server/OMS/workspace/conf/oms-config.ini | grep om_gateway 在主备管理节点分别执行ping 管理平面网关,检查节点是否与管理平面网关连通?
src/main/resources目录。并在core-site.xml中增加如下配置项: <property> <name>fs.obs.connection.ssl.enabled</name> <value>true</value> </property> <property> <name>fs.obs
默认的输入字段分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。 , - loader.input.line.separator 默认的输入行分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
ase和Yarn。 如果为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。 如果为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。