检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--topic input --producer.config ../config/producer.properties 向input中写入测试数据,可以观察到output中有对应的数据产生,则说明Storm-Kafka拓扑运行成功。 父主题: Storm应用开发常见问题
替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。 解决办法 属于正常现象。
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
施的影响,具体请参考MRS集群补丁说明。 MRS 2.x及之前版本、MRS 3.1.5及之后版本、MRS 3.2.0-LTS及之后版本支持在线安装补丁。 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面的“集
创建普通账号委托并绑定集群 ClickHouse集群添加OBS磁盘信息 配置磁盘存储策略 自定义冷热分离数据存储策略 导入数据ClickHouse测试验证 原理介绍 OBS对象存储是支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务,ClickHouse基于OBS的优势构建冷热分
载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。
集群启动Yarn后产生大量作业占用资源 问题现象 MRS 2.x及之前版本集群,用户的MRS集群启动Yarn后产生大量作业,占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0,导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面,
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 漏洞描述 近日,华为云关注到Apache Log4j2存在一处远程代码执行漏洞(CVE-2021-44228),在引入Apache Log4j2处理日志时,会对用户输入的内容进行一些特殊的处理,攻击
“名称”输入作业的名称,“类型”选择“导出”即导出。 “连接”选择一个连接。默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector
在确定数据都为新数据时建议使用INSERT,当存在更新数据时建议使用UPSERT,当初始化数据集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource
create table t1(col1 int); create table t2(col1 int,col2 int); 向源数据表t1中插入测试数据: insert into table t1 select 1 union all select 1 union all select
在确定数据都为新数据时建议使用INSERT,当存在更新数据时建议使用UPSERT,当初始化数据集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource
“名称”输入作业的名称,“类型”选择“导出”即导出。 “连接”选择一个连接。默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
install helloword python3 import helloworld helloworld.say_hello("test") 测试安装第三方Python库(如pandas、sklearn)。 pip3 install pandas pip3 install backports
EAGER:尽可能下推Join。即使表统计信息不可用, EAGER也可以下推Join,这可能会导致查询性能下降,因此仅建议将EAGER用于测试和故障排除场景。 AUTOMATIC 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。
MRS组件应用安全认证说明 Kerberos认证说明 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用
开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ