检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Name hudilink Storage Type hdfs Auth KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接
check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在,每次测试时创建,测试完成后自动删除。系统内部组,仅限组件间内部使用。 Manager_tenant 租户系统用户组。系统内部组,仅限组件间内部使用,且仅在已启用Kerberos认证的集群中使用。
具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保持不可用,直到Leader节点恢复。
创建计算实例时的默认配置只申请极少量的资源,仅供基本功能测试。用户需要根据实际业务需求和可用资源进行参数配置,可参考配置HetuEngine资源组和配置HetuEngine Worker节点数量。 配置完成后将“立即启动”置为“是”,单击“确定”等待实例配置完成。
同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 MRS集群类型包括分析集群、流式集群和混合集群。 分析集群:用来做离线数据分析,提供Hadoop体系的组件。 流式集群:用来做流处理任务,提供流式处理组件。
具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保持不可用,直到Leader节点恢复。
/config/producer.properties 向input中写入测试数据,可以观察到output中有对应的数据产生,则说明Storm-Kafka拓扑运行成功。 父主题: Storm应用开发常见问题
- 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 父主题: 创建CDL作业前准备
/config/producer.properties 向input中写入测试数据,可以观察到output中有对应的数据产生,则说明Storm-Kafka拓扑运行成功。 父主题: Storm应用开发常见问题
批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。
source /opt/client/bigdata_env kinit hiveuser beeline create table t1(col1 int); create table t2(col1 int,col2 int); 向源数据表t1中插入测试数据: insert into
批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。
默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector JDBC驱动程序类 JDBC驱动类名。
默认没有已创建的连接,单击“添加”创建一个新的连接,完成后单击“测试”,测试是否可用,待提示成功后单击“确定”。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector JDBC驱动程序类 JDBC驱动类名。
在“配置”区域“监控和告警配置”下,单击“阈值配置”,依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”,单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。
pip3 install helloword python3 import helloworld helloworld.say_hello("test") 测试安装第三方Python库(如pandas、sklearn)。
即使表统计信息不可用, EAGER也可以下推Join,这可能会导致查询性能下降,因此仅建议将EAGER用于测试和故障排除场景。 AUTOMATIC 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。
登录MySQL数据库,对测试数据进行更新/创建/删除等操作。操作语句可以参考如下示例。
登录MySQL数据库,对测试数据进行更新/创建/删除等操作。操作语句可以参考如下示例。
建议在选定之前先做一些基础的测试。 写数据表设计调优 在hbase shell中设置以下表相关参数,以提升HBase写数据性能。 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。