检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS_CLICKHOUSE模型仅支持CLICKHOUSE_TABLE。 Oracle模型仅支持ORACLE_TABLE。 MySQL模型仅支持MYSQL_TABLE。 DORIS模型仅支持DORIS_TABLE。 路径 该参数仅数据源为MRS_HIVE且表类型选择HIVE_EXTERNAL_TABLE时有效。
不同实例规格,对API数量的支持能力不同。 公网入口 开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹性公网IP,后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景,建议开启。如果在创建集群
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题: 数据集成(CDM作业)
不同实例规格,对API数量的支持能力不同。 公网入口 开启“公网入口”,创建集群时会为集群自动绑定一个新建的弹性公网IP,后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景,建议开启。如果在创建集群
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时,支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以C
业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 在“总览”页面的“资产总览”页签,单击技术资产下数据库的统计数量,即可查看每个库对应的表数量及大小。 图7 查看技术资产 图8 查看数据量
huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验,建议您优先完成实名认证。实名认证分为个人账号和企业账号认证,不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证,可以略过此部分内容。
涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 度量 度量是用于衡量业务状况的可量化的数值表现,通常为数字,如:金额、数量、周期等。指标与度量的关系:度量是一个数值型数据,其本身不带有业务含义,只有将度量放在业务语境下,方能体现出业务含义,才能成为指标。
共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是
抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,此时应配置为单进程抽取数据。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。
当勾选上“显示尚未生成的实例”后,通过时间筛选未来时间内尚未生成的作业实例。 勾选后进行筛选,能够显示未来时间内预计可能会生成的实例,显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例,可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮,或
Studio增量包页面,按照如下配置: 增量包类型:选择批量数据迁移增量包。 计费方式:选择套餐包。 购买时长:表示此套餐包的有效时长。 购买数量:表示购买套餐包的数量。例如当购买时长选择1个月,购买数量选择2,那么您将拥有1490小时的额度,有效期是1个月。 单击“立即购买”,确认规格后提交订单。 购买套餐包成
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
集群配置/日志查看/数据监控。 监控指标配置。 创建集群 连接管理 连接管理实现的能力如下: 支持DLI、MRS Hive、Spark SQL、DWS、MySQL、主机等连接管理。 支持代理连接、直连、MRS API等连接方式。 创建连接 作业管理 作业管理可以实现在同构、异构数据源之间进行表或文
数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id 否 String 转化后物理表所属的数据连接ID。 database 否 String
当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default
当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default
dependJobs 否 DependJobs数据结构 依赖其它作业配置,参考表13 concurrent 否 Integer 支持并发执行数量 表10 Cron数据结构说明 参数名 是否必选 参数类型 说明 startTime 是 String 调度开始时间,采用ISO 8601
创建API时提示代理调用失败,怎么办? 可能原因 数据连接中的CDM代理异常,例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启,长期措施需降低CDM集群的工作负载。 父主题: 数据服务