检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上限。 解决方案 每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。 二. 您可通过如下方式排查哪些作业调度节点次数较高,然后适当调整调度周期或停止调度即可。
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。 当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。
选择分层类型。分层类型选择以后不支持修改。 关系建模 维度建模 数据集市 说明: 关系建模一般用于业务系统及数仓贴源层、整合层的建模。 维度建模用于数仓公共层或数据报告层的建模。 数据集市用于汇总表和应用表等数据应用表的建模。 描述 数仓分层描述信息。支持的长度0~200字符。 禁用自定义项
password 否 String 登录Elasticsearch的密码。 linkConfig.linkType 是 String 连接类型,用于区分连接的是Elasticsearch或云搜索服务。 父主题: 连接参数说明
e数据库。 SID:通过SID连接Oracle数据库。 linkConfig.sidname 否 String 配置Oracle实例ID,用于实例区分各个数据库。创建Oracle连接,且linkConfig.databaseconfig(数据库连接类型)选择为“SID”时才有该参数。
的开发者权限。 CDM集群和数据服务专享版集群在工作空间之间相互隔离,建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。您可以根据自己的数据需求,自由选择搬迁哪个组件的数据。
数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。 参数协议 用于传输请求的协议,专享版支持HTTPS协议。 推荐选择HTTPS协议,HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
valueOf("<YOUR REGION>")) .build(); ShowJobStatusRequest request = new ShowJobStatusRequest(); request.withClusterId("{cluster_id}");
是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”,然后单击“添加”,您可以
选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容,并自动提交一个新版本。 参考访问DataArts
如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
败。 STANDALONE 是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hbase_01
isSplit 否 Boolean 选择是否拆分Rowkey,例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界
的实例,单击取消,可终止重跑此实例。 更多 > 扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看采集任务实例执行结果,确认分类结果是否匹配。勾选分类匹配字段前的复选框,单击“同步”,即可将分类和密级属性手动同步到资产。 父主题: 采集数据源的元数据
集群管理接口 查询集群概览信息列表 查询集群详情信息列表 查询集群详情信息 查询数据服务集群访问日志列表 开启数据服务集群OBS日志转储 开启数据服务集群LTS日志转储 父主题: 数据服务API
关联维度表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)