检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此,为了保证专享版集群API能够被用户访问,集群创建中需要注意如下网络配置: VPC 虚拟私有云。专享版实例需要配置虚拟私有云(VPC),在同一VPC中的资源(如ECS),可以使用专享版实例的私有地址调用API。 在购买时专享版实例时,建议配置和您其他关联业务相同VPC,确保网络安全的同时,方便网络配置。
描述数据来源,也就是数据的产生者。 例如,门店IT系统上报 *指标管理部门 指标的管理部门。 例如,数据平台部 *指标责任人 指标的责任人,可以手动输入责任人名字或直接选择已有的责任人。 配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,指标定义创建完成。
送的数据中,单击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 使用Shell节点。 前提:您需要具备弹性云服务器ECS。 方法:创建一个主机连接,将EL表达式直接通过echo打印出来,单击“测试运行”之后查看日志,日志中会打印出EL表达式的值。 使用Create
表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编号,ID字符串。 name 是 String 工作区名字。 description 否 String 描述。 is_physical 否 Boolean 是否为物理表。 frequent 否 Boolean
目前数据集成集群支持以下部分规格供用户选择: cdm.large:8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。 cdm.xlarge:16核CPU、32G内存的虚拟机,最大带宽/基准带宽为10/4 Gbps,集群作业并发数上限为32,适合使
表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编号,ID字符串。 name 是 String 工作区名字。 description 否 String 描述。 is_physical 否 Boolean 是否为物理表。 frequent 否 Boolean
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CD
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8
名称:用户自定义连接名称,例如“obslink”。 OBS终端节点:配置为OBS的域名或IP地址,例如“obs.myhuaweicloud.com”。 端口:OBS服务器的端口,例如“443”。 OBS桶类型:根据实际情况下拉选择即可。 访问标识(AK)、密钥(SK):访问OBS数据库的AK、SK。可在管理控制台单击用户名,选择“我的凭证
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126,125,124 Windows 10 建议分辨率为1920*1080,2560*1440。 Firefox
业务规则责任人 在下拉框中选择业务规则责任人。该责任人为质量规则制定责任人,可以手动输入名字或直接选择已有的责任人。 数据监控责任人 在下拉框中选择数据监控责任人。该责任人为质量规则实施责任人,可以手动输入名字或直接选择已有的责任人。 标准层级 global:全局级别。 domain:非全局级别。
特性,请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。
连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时,支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以C
已购买资源组,详情请参见购买数据集成资源组。 已购买并配置虚拟专用网络VPN,与云上的至少一个虚拟私有云VPC连通。若未开通虚拟专用网络VPN请参考经典版VPN购买流程进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。
注意:当使用已经存在的target_model_name时,该值为必填项,且要与已存在的模型ID保持一致。 target_model_name 是 String 工作区名字。 description 否 String 描述。 update_exist_tables 否 Boolean 是否更新已有表。 ids
MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案