检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。
步骤四:创建增强型跨源连接 步骤五:创建DLI Flink作业 步骤六:验证数据同步 更多信息 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。
据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。
据服务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。
弹性变更规格中 表示集群正在弹性变更集群规格中。 弹性变更规格失败 表示集群弹性规格变更失败。 订单待支付 表示按需集群转包周期集群订单未支付,完成订单支付或取消订单该状态消失。 经典变更规格 表示集群正在进行经典变更规格中。 经典变更规格失败 表示经典变更规格失败,其中配额、用户权限以及集群状态都有可能导致失败。
gs_extend_library函数如何使用请参见 管理jar包和文件。函数中的AK/SK值,请用户根据实际获取值替换。region_name请用户根据实际所在的区域名称替换。 使用PL/Java函数。 首先,使用拥有sysadmin权限的数据库用户(例如:dbadmin)登录数据库并创建java_upperstring函数如下:
磁盘使用率高&集群只读处理方案 查看磁盘使用率 对于用户来说,DWS的磁盘使用率是一个非常需要关注的高价值资源,并且这个资源与集群的可用性息息相关。因此,当出现以下场景时,需要用户密切关注磁盘空间并做出相应的磁盘空间处置(以下磁盘均指数据磁盘)。 查看磁盘空间方法: 登录DWS管
描述 public_bind_type 否 String 弹性IP绑定类型,取值如下: auto_assign:自动绑定。 not_use:暂未使用。 bind_existing :使用已有。 eip_id 否 String 弹性IP的ID。 响应参数 状态码: 200 表5 响应Body参数
本示例旨在展示在零售业场景中GaussDB(DWS) 数据仓库的多维度查询分析的能力。 数据安全 实现数据列的加解密 数据加密作为有效防止未授权访问和防护数据泄露的技术,在各种信息系统中广泛使用。作为信息系统的核心,GaussDB(DWS)数仓也提供数据加密功能,包括透明加密和使
lation)和持久性(Durability)。 安全环 每一个环都由若干物理机组成,环内的DN形成主、备、从备关系,不向环外延伸。也就是说,环内的任何一个节点的主,或者备,或从备,依然在环内。扩容与缩容时,是以环为最小单位进行的。 Bgwriter 数据库启动时创建的一个后台写
lation)和持久性(Durability)。 安全环 每一个环都由若干物理机组成,环内的DN形成主、备、从备关系,不向环外延伸。也就是说,环内的任何一个节点的主,或者备,或从备,依然在环内。扩容与缩容时,是以环为最小单位进行的。 Bgwriter 数据库启动时创建的一个后台写
杂、耗时的查询,而另一组用户经常提交短查询。在这种情况下,短时查询可能不得不在资源池中等待耗时查询完成。 一些SQL由于数据倾斜、执行计划未调优等原因,占用过多内存空间,导致其他语句因申请不到内存而报错,或占用过多磁盘空间,导致磁盘满而触发集群只读,无法进行写入。 为了提高系统整
您资源异常,以免因此造成业务损失。 配置OBS转储 云监控各监控指标的原始数据的保留周期为两天,超过保留周期后原始数据将不再保存。用户可以开通对象存储服务,然后将原始数据同步保存至OBS,以保存更长时间。 关于如何配置OBS转储,具体请参见《云监控服务用户指南》中的配置OBS数据存储章节。
描述 public_bind_type 否 String 弹性IP绑定类型,取值如下: auto_assign:自动绑定 not_use:暂未使用 bind_existing :使用已有 eip_id 否 String 弹性IP的ID。 表6 Volume 参数 是否必选 参数类型
ADDRESS是OBS的终端节点(Endpoint),请根据实际替换。也是使用region参数,通过指定regionCode在region_map文件中查找对应的域名。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问密钥。请根据实际替换。 认证用的AK和SK硬编码到代码中或者明
描述 public_bind_type 否 String 弹性IP绑定类型,取值如下: auto_assign:现在购买 not_use:暂未使用 bind_existing :使用已有 eip_id 否 String 弹性IP的ID。 表5 Volume 参数 是否必选 参数类型
ADDRESS是OBS的终端节点(Endpoint),请根据实际替换。也是使用region参数,通过指定regionCode在region_map文件中查找对应的域名。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问密钥。请根据实际替换。 TYPE表示创建的Server为OBS
用户指南》的创建角色。配置拥有对应权限的角色,具体操作请参见《MapReduce服务用户指南》的创建用户。为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行如下命令。 kinit MRS集群用户 执行以下命令启动Hive客户端: beeline 依次执行以下S
行。预计的输出行数降低了,因为有WHERE子句。不过,扫描仍将必须访问所有 10000 行,因此开销没有降低;实际上它还增加了一些(确切的说,通过10000 * cpu_operator_cost)以反映检查WHERE条件的额外CPU时间。 LIMIT LIMIT限定了执行结果的
COPY FROM中\N为空字符串,如果要输入实际数据值\N ,使用\\N。 COPY FROM不支持在导入过程中对数据做预处理(比如说表达式运算,填充指定默认值等)。如果需要在导入过程中对数据做预处理,用户需先把数据导入到临时表中,然后执行SQL语句通过运算插入到表中,但此方法会导致I/O膨胀,降低导入性能。