检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在初始化Kafka生产者实例时,设置此配置项“max.request.size ”的值。 例如,参考本例,可以将此配置项设置为“5252880”: // 协议类型:当前支持配置为SASL_PLAINTEXT或者PLAINTEXT props.put(securityProtocol,
可通过如下两种方式选择待导出的内容,单击“清除选中节点”可取消勾选。 根据需求直接勾选待导出的内容。 单击“正则表达式输入”,选择待导出的类型(流表管理、作业管理、UDF管理),输入关键字,单击“查询”,待数据匹配成功后,单击“同步”即完成勾选。 数据匹配成功后,单击“同步”会勾
iner,其中包括当前在NM上运行的所有Container。RM会在另一计算节点上启动新的ApplicationAttempt。 对于不同类型的应用,希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务,但允许丢失当前运行的Container。但是对于长周
不能与系统或操作系统中已有的用户名相同。 如果用户名称中包含其他特殊字符(例如“.”、“@”等)可能导致同步IAM用户失败。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场
[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log HDFS系统
Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面,配置以下参数: 用户名:输入需要创建的用户名称。 用户类型:选择用户类型,包括“人机”和“机机”。 集群已启用Kerberos认证(安全模式)推荐选择“人机”。 集群未启用Kerberos认证(普通模式)推荐选择“机机”。
protocol”的值,同时修改“producer.properties”中的“bootstrap.servers”的值,确保security.protocol协议类型和bootstrap.servers中的端口号匹配。 父主题: Kafka应用开发常见问题
Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写 hoodie.datasource.write.recordkey.field
密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符`~!@#$%^&*()-_=+|[{}];,<.>/?中的3种类型字符。 不可与当前密码相同。 显示如下结果,说明修改成功: Modify kerberos server password successfully
检查系统环境是否异常。 执行以下命令导入临时文件,并查看“port_result.txt”文件中高使用率端口。 netstat -tnp|sort > $BIGDATA_HOME/tmp/port_result.txt netstat -tnp|sort Active Internet
选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/t
其代表着Controller的功能。 Node Agent每隔3秒向Controller发送心跳信息,不支持配置时间间隔。 IAM 负责记录审计日志。在Manager的UI上每一个非查询类操作,都有对应的审计日志。 PMS 性能监控模块,搜集每一个OMA上的性能监控数据并提供查询。
password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。 在MySQL数据库上创建表,并插入数据。
--cancelforbidswitch --name=product" 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点,进入“/home/omm”目录。
l被终止后认为driver失联,然后整个应用停止。 解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
Check your installation. 比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点,保持文件权限和属组与主节点一样。
实时写入到防御审计日志中。运维人员可进行日志分析,评估现网SQL质量,提前感知潜在SQL风险,并做出有效预防措施。 SQL防御规则包含以下类型: 静态拦截规则:基于纯粹的SQL语法规则进行拦截或提示。 动态拦截规则:基于与数据表的统计信息、元数据信息等内容有关的规则进行拦截或提示。
e角色。 准备待导入的数据文件,并将数据文件上传到客户端节点目录,例如上传到目录“/opt/data”。ClickHouse支持的所有数据类型请参考:https://clickhouse.com/docs/en/interfaces/formats 操作步骤 以客户端安装用户,登录客户端所在节点。
管控面提交FlinkSQL作业支持元数据管理 解决的问题 MRS 3.2.0-LTS.1.3修复问题列表: 解决Hudi修改long到string后run compaction,Spark读失败问题。 解决Hudi修改schedule后之前的commit文件被清理,spark compaction失败问题。
序。 hadoop-x.x.x表示Hadoop的版本号,具体以实际为准。 准备数据文件。 数据文件无格式要求,准备一个或多个txt文件即可,如下内容为txt文件样例: qwsdfhoedfrffrofhuncckgktpmhutopmma jjpsffjfjorgjgtyiuyjmhombmbogohoyhm