检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR
(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 图1 Kerberos原理架构 表1 Kerberos模块说明 模块 说明 Application Client 应用客户端,通
作业管理类 MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理?
cookie认证。 Flink集群中,各部件支持SSL加密传输;集群内部各部件之间,如Flink client和JobManager、JobManager和TaskManager、TaskManager和TaskManager之间支持SSL加密传输。 ACL控制 在HA模式下,支持ACL控制。
图1 Spark架构 表1 基本概念说明 模块 说明 Cluster Manager 集群管理器,管理集群中的资源。Spark支持多种集群管理器,Spark自带的Standalone集群管理器、Mesos或YARN。Spark集群默认采用YARN模式。 Application Spark应用,由一个Driver
选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT TLS_EXPLICIT TLS_IMPLICIT 文件名编码类型 文件名或者文件路径名的编码类型。 表3
使用root用户登录MRS Manager的主管理节点,例如“192-168-0-30”节点,并执行以下命令切换到omm用户。 sudo su - omm 执行以下命令切换到客户端安装目录。例如“/opt/client”。 cd /opt/client 执行以下命令,更新主管理节点的客户端配置。 sh
从输入源中读取的行数(文件数)。 行/文件 写入数 写入到输出源的行数(文件数)。 行/文件 跳过数 转换过程中记录的坏行数(文件数):输入格式不正确,无法进行转换。 转换过程中配置过滤条件后跳过的行数。 父主题: 作业管理
225.167 --secure --port 9440 --query="insert into default.test_cpy FORMAT CSV" < /opt/clickhouse/default_test.csv 父主题: ClickHouse运维管理
225.167 --secure --port 9440 --query="insert into default.test_cpy FORMAT CSV" < /opt/clickhouse/default_test.csv 父主题: ClickHouse运维管理
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
spark.io.encryption.keySizeBits I/O加密密钥大小(以位为单位)。 256 spark.ssl.ui.enabled 是否为WebUI连接启用SSL认证。 安全模式:true 普通模式:false 父主题: MRS集群安全加固
10:9093 Security Protocol SASL_SSL Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore
10:9093 Security Protocol SASL_SSL Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore
txt (根据实际RegionServer的进程ID进行替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。 选择
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR
10:9093 Security Protocol SASL_SSL Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore
setProperty("user", "YourUserName"); properties.setProperty("SSL", "false"); Class.forName("io.xxxsql.jdbc.xxxDriver"); }
te.xml $SPARK_HOME/conf/spark-defaults.conf 集群开启ZooKeeper的SSL特性后(查看ZooKeeper服务的ssl.enabled参数),请在执行命令中添加-Dzookeeper.client.secure=true -Dzookeeper