检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。
通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接,是基于管理
义监控目标与通知策略,及时了解作业状况,从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
需要配置该参数。 将Spark程序资源包上传到指定的分组中,主Jar包和依赖包会上传到同一个分组中。 已有分组:选择已有的分组 创建新分组:创建新的分组,分组名称只能包含英文字母、数字、点号、中划线和下划线。 不分组 主类入口参数 否 配置该参数时,多个参数请以Enter键进行分隔。
告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 业务指标监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面,显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容: 快速入门,介绍业务指标监控的业务流。 最近7天内的业务场
单击“添加参数”。配置参数值和参数名称,参数值可以设置默认值、最大值、最小值。可以对配置的参数进行修改和删除。 如果该模板参数允许作业参数覆盖,则勾选“允许作业参数覆盖”,设置的模板参数可以允许作业参数进行覆盖。 图2 配置参数模板 单击“确定”。 您可以对已创建的参数模板进行查看、修改和删除。 脚
在关系建模中更新一个表模型及其属性,包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数
2,有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。 自定义镜像是DLI的特性。用户可以依赖DLI提供的S
数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。 数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏
勾选后进行筛选,能够显示未来时间内预计可能会生成的实例,显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例,可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮,或者通过右侧操作列的“更多”中选择冻结和解冻进行冻结和解冻操作,支持批量操作。 冻结:作业实例尚未生
请您登录控制台首页,选择并进入旧工作空间的“数据质量”模块,然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。 在规则模板列表,选择自定义的规则模板,然后单击“导出”。 图1 批量导出规则模板 在
属性的多张维度表,事实表与维度表通过主/外键实现关联。 典型的维度模型有星形模型,以及在一些特殊场景下使用的雪花模型。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,构建总线矩阵、抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。
数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。 数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏
在数据开发主界面的左侧导航栏,选择开发环境,选择“数据开发 > 任务发布”。 在待发布任务界面,会展示因提交版本而生成的待发布任务。您可以通过“查看”操作,查看当前任务相比上一版本的修改点,确认修改无误后,请通过“发布”操作,将任务进行发布。 支持通过“任务名称”和“提交人”进
您可以查看和修改节点的调度信息。详情请参见实时作业监控:事件驱动调度节点调度配置。 11 清除通道消息 单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。 12 查看日志 对于Flink SQL和Flink J
内容。可对比源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面,单击左侧导航
被识别为1,导致源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后单击“保存并提交版本”,以保存主作业。 创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。运行成功后,创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项
模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“调度身份配置”,公共调度身份选择“公共委托”。 单击右边的“+”在委托列表中选择合适的委托,也可重新创建委托。创建委托和配置权限,请参见参考:创建委托和参考:配置委托权限。 图1 配置工作空间级委托
在数据开发主界面的左侧导航栏,选择开发环境,选择“数据开发 > 任务发布”。 在待发布任务界面,会展示因提交版本而生成的待发布任务。您可以通过“查看”操作,查看当前任务相比上一版本的修改点,确认修改无误后,请通过“发布”操作,将任务进行发布。 支持通过“任务名称”和“提交人”进