检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“连接”后的下拉列表框,选择待编辑的连接名称。 在“连接”后单击“编辑”,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行6。 如果显示测试失败,则需要重复4。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题: Hudi应用开发规范
Map<primitive_type, data_type> CarbonData主要规格 表2 CarbonData主要规格 实体 测试值 测试环境 表数 10000 3个节点,每个executor 4个CPU核,20GB。Driver内存5GB,3个Executor。 总列数:107
(可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK
hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为: 第一副本:存放到客户端所在节点。 第二副本:远端机架的数据节点。
hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy)”,经过测试验证,在该测试结果中,修改前后,HDFS写文件性能影响范围在3%以内。 NameNode默认的副本存储策略为: 第一副本:存放到客户端所在节点。 第二副本:远端机架的数据节点。
(可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK
成不同语言的开发环境配置。 获取并导入样例工程 Storm提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 根据场景开发拓扑 通过典型场景,您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。
当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘 节点系统盘的存储类型和存储空间
令。 执行spark-shell --master yarn-client命令进入spark-shell,然后引入Hudi相关软件包并生成测试数据。 引入需要的包。 import org.apache.hudi.QuickstartUtils._ import scala.collection
说明:对此规则或建议进行的解释。 示例:对此规则或建议给出示例。 适用范围 基于MRS-Flink数据存储进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点,以本文档为准。
dows云服务器,并且与集群的网络是通的,直接填写节点的业务IP地址即可)。 图11 配置主机 单击“测试连接”,如图10 测试连接所示表示对接成功,单击“确定”。 图12 测试连接 以客户端安装用户登录安装HBase客户端的节点,执行以下命令创建新的命名空间MY_NS: cd 客户端安装目录
所有”,选择“Presto”并打开。参考图2新建连接。 图2 新建连接 参考下表配置连接参数。配置完成后单击“测试连接”,或在“模式”单击“点击连接数据库”测试数据连接,测试成功后单击“保存”。 表1 HSFabric连接参数 参数名 参数值 数据连接名称 自定义 驱动 io.prestosql
Yarn任务只读用户组。将用户加入此用户组,可获得Yarn和Mapreduce界面上任务的只读权限。 check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在,每次测试时创建,测试完成后自动删除。系统内部组,仅限组件间内部使用。 compcommon 系统内部组,用于访问集群公共资源。所
找到Presto的浮动IP,并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问,然后测试(以非安全集群为例,catalog为hive)。 父主题: 使用Presto
域相关参数,参数详情可参考创建HetuEngine计算实例章节或保持默认值即可。 创建计算实例时的默认配置只申请极少量的资源,仅供基本功能测试。用户需要根据实际业务需求和可用资源进行参数配置,可参考配置HetuEngine资源组和配置HetuEngine Worker节点数量。
这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a int); Create table show_table2(a int); Create
调优思路、参数调优、系统调优、SQL改写调优。 数据库运维 监控、告警、日志、系统表/视图。 适用范围 规范适用于ClickHouse数据库设计、数据库开发、数据库测试、数据库运维以及DBA和业务使用人员。 父主题: ClickHouse应用开发规范
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,在“源文件类型”中选择“HBASE”,设置数据源信息。
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,在“源文件类型”中选择“HBASE”,设置数据源信息。