检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e中查询。 参数类型:SUSET 取值范围:布尔型 on表示开启收集功能,开启时,收集器会重复地去查询当前时间的操作系统,这可能会引起某些平台的重大开销,故默认值设置为off。 off表示关闭收集功能。 默认值:off track_functions 参数说明:控制收集函数的调用次数和调用耗时的统计数据。
型。 数据治理中心DataArts Studio的核心主要是智能数据湖FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 拥有强大的湖、仓、库引擎技术,比如数据湖
、DELETE、TRUNCATE、REFERENCES或TRIGGER之一的值。可以给权限类型添加WITH GRANT OPTION,用来测试权限是否拥有授权选项。也可以用逗号分隔列出的多个权限类型,如果拥有任何所列出的权限,则结果便为true。 示例: 1 2 3 4
JSON数组(array,最外层由[]构造)导入,但支持JSON对象内部数组的导入。 Hudi即Apache Hudi,是一个事务性数据湖平台。当前版本支持将OBS外表的format参数指定为Hudi来访问相应的Hudi表数据集,并提供访问Hudi表增量/实时视图的方法。 fol
vision_by_truncate,控制整数除法行为结果集输出整数还是浮点数,行为兼容PG或者兼容ORA。 开发指南>GUC参数>版本和平台兼容性 兼容性 控制case when条件中含有返回为多结果集函数(8.3.0.100新增) GUC参数behavior_compat_o
您参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 统一身份认证服务”,打开IAM管理控制台。 修改您的IAM用户所属的用户组,给用户组设置策略,授予用户组DWS
准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
数据库用户管理 数据迁移 数据仓库服务 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI
PRIMARY KEY(area_id) ); 连接GaussDB(DWS)数据库实例,向GaussDB(DWS)维表area_info中插入测试数据,其语句如下: 1 2 3 4 5 6 7 insert into area_info (area_id, area_province_name
Server的IP地址和端口,如果有多个地址使用|分割,与GDS外表的location类似。 GaussDB(DWS)会对syncsrv所设置的GDS地址进行网络连接测试: 只能判断本地执行集群与GDS的网络情况,无法判断远端集群与GDS的网络情况,需要注意报错提示。 在移除不可用GDS后,从中选择不会导致
本实践预计时长:30分钟,基本流程如下: 创建集群。 使用gsql命令行客户端连接集群。 创建冷热表。 冷热数据切换。 查看冷热表数据分布。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置
用区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS 7.6为例),并选择以密码方式登录。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置
dataMigrationDeleteMapping 正常 删除表映射配置。 数据迁移 dataMigrationDialsConnection 正常 测试连接配置。 数据迁移 dataMigrationModifyConnection 正常 修改连接配置。 数据迁移 dataMigrationModifyMapping
wait_dummy_time 增量catchup中等待从备启动或者从备发回扫描列表的最长时间。 5 enable_xlog_group_insert 用于指定在ARM平台下,xlog是否启动group的插入方式。 6 topsql_retention_time 该参数表示gs_wlm_session_inf
64]:打开固定SMP功能,系统会使用固定并行度。 0:打开SMP自适应功能,系统会根据资源情况和计划特征动态为每个查询选取[1,8]之间(x86平台),[1,64]之间(鲲鹏平台)的最优的并行度。 [-64,-1]:打开SMP自适应功能,并限制自适应选取的最大并行度。 对于短查询为主的TP类业务中,如
GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库。 无 drs.cdc 使用drs.cdc
VERSION(),将获取到的版本号更新ini文件中的OLTPVersionNewST参数值。 - - -testability 开启可测试性需求特性。在该版本中,该功能启用后: 用户可使用“Ctrl+空格”快捷键复制最近触发的自动建议操作。 在选择了“包含ANALYZE结果”
2及以前版本不支持此登录方式,可以使用Data Studio连接集群。 登录成功后,进入SQL编辑器。 复制如下SQL语句到SQL窗口中,单击“执行SQL”,创建测试TPC-H表ORDERS。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
loops int) 描述:测试当前节点通过TSC(TimeStamp-Counter)换算时间的准确性。该函数仅8.2.1及以上集群版本支持。 输入参数含义如下: time:测试的时间差(单位s),测试时长需要小于或者等于60s loops:测试次数,范围值[1,10] 返回值类型:record