检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio的工作空间可以删除吗? DataArts Studio已经支持删除工作空间。 为避免误删除导致的业务受损,删除工作空间需要DAYU Administrator或Tenant Administrator账号才能操作,且删除工作空间的前提是各组件内已无业务资源,各组件校验的资源如下:
参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value ConditionVO object value,统一的返回结果的外层数据结构。 表6 ConditionVO 参数 参数类型 描述 id
如何手工重启阻塞的质量作业或对账作业? 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启,如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”,先单击对应作业操作栏中的“取消”,作业运行状态变更为“失败”,此时然后单击操作栏中的“重跑”即可完成作业重启。
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数
采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value TableModelStatisticVO object value,统一的返回结果的外层数据结构。 表6 TableModelStatisticVO
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
某数据运营工程师负责本公司的数据质量监控,仅需要数据质量组件的权限。管理员如果直接赋予该数据运营工程师“开发者”的预置角色,则会出现其他组件权限过大的风险。 为了解决此问题,项目管理员可以创建一个基于“开发者”预置角色的自定义角色“Developer_Test”,在“开发者”角色权限的基础上为其
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
安全组类似防火墙,控制谁能访问实例的指定端口,以及控制实例的通信数据流向指定的目的地址。安全组入方向规则建议按需开放地址与端口,这样可以最大程度保护实例的网络安全。 专享版实例绑定的安全组有如下要求: 入方向:如果需要从公网调用API,或从其他安全组内资源调用API,则需要为专享版实例绑定的安全组的入方向放
在配置作业配置调度时,可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度,请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实际的业务数据),在Dummy节点与后续执行任务的节点的连线上,
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采
免费版:基于DLI的电商BI报表数据开发流程 示例场景说明 步骤1:数据准备 步骤2:数据开发处理 步骤3:服务退订
创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接,并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句,提交并运行作业。 set
Studio实例中的CDM没有计费是什么原因? 购买非免费版的DataArts Studio实例时,系统会赠送一个4核CPU、8G内存规格CDM集群,不会产生费用。 注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio管理中心数据连接的Agent