检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买DataArts Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
MIN属性的用户才可以查看审计记录,因此需要保证数据连接中的账号或当前用户账号拥有上述权限(未开启细粒度认证前,使用数据连接上的账号查看审计记录;如果开启了细粒度认证,则使用当前IAM用户身份查看审计记录)。 对于MRS数据源,查看审计数据依赖于数据连接中Agent的版本,请确保CDM集群为2
Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作 撤销发布:只有部署者和管理者可以操作
该接口只统计运行成功的实例,每小时统计一次,任务表示作业中的算子。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
的数据库,其中表名包含“table_name”的数据表。 基础与网络连通配置 项目ID 否 适用组件勾选数据集成后,呈现此参数。 DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。
务等数据平台。 安全稳定、降低成本 一站式的服务能力和稳定的数仓服务,让云上数据万无一失;免自建大数据集群、免运维,极大降低企业建设数仓成本。 图2 云上数据平台 基于行业领域知识库快速构建数据中台 通过应用华为在企业业务领域积累的丰富的行业领域模型和算法,帮助企业构建数据中台,快速提升数据运营能力。
l文件的形式导出API。 图3 导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图4 Excel文件样式 导入API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
作业配置了每日调度,但是实例没有作业运行调度记录。 原因分析 原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时
在从属角色页签,您可以查看到当前角色的子角色。 图10 查看从属角色 目录权限:在角色详情页面,单击“目录权限”进入目录权限页签。 目录权限通过从Ranger组件获取对应角色的HDFS策略,从而显示该角色具有权限的HDFS路径,并支持查看对该路径有哪些操作权限。如果想查询某路径下的权限,则可以使
进行撤销。 发布后,通过操作列的“查看详情”可以查看任务的发布状态和启动状态,在操作列的“版本对比”可以查看发布包不同版本间的内容差异。 图3 查看发布详情 父主题: 脚本开发
用户流量限制(次/10s) 查询统计用户相关的总览开发指标 查询统计用户相关的总览开发指标。 2400 120 查询统计用户相关的总览调用指标 查询统计用户相关的总览调用指标。 2400 120 查询API服务调用TopN 查询API服务调用TopN。 2400 120 查询APP服务使用TopN
可以使用发布包名称进行模糊查询。 图2 查看任务状态 对于暂时不发布的发布项,开发者、部署者和管理员可以进行撤销。 发布后,通过操作列的“查看详情”可以查看任务的发布状态和启动状态,在操作列的“版本对比”可以查看发布包不同版本间的内容差异。 图3 查看发布详情 父主题: 作业开发
数据集市 数据集市,也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。 汇总表分为“手
start_time 否 Long 告警的开始时间,默认当前时间的前一个小时,13位时间戳。 end_time 否 Long 告警的最后时间,默认为当前时间,13位时间戳,支持查询最近一周的时间段 offset 否 Integer 分页的起始页,默认值为0。取值范围大于等于0。 limit
数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
GBK 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 需要解压缩的文件后缀名。当一批文件中以该值为后缀时,
定位数据。 使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。获得数据详细信息后,可添加额外描述。 通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 对数据资产,可以从业务角度定义分类或标签。 父主题: 数据目录
用户流量限制(次/min) 查询码表列表 查询码表列表。 21600 240 创建码表 创建码表。 10800 120 删除码表 删除码表。 10800 120 修改码表 修改码表。 10800 120 查看码表详情 通过ID查看码表的详情信息。 21600 240 查看码表字段值 查看码表字段值。