检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量删除目录 功能介绍 批量删除服务目录。删除目录的同时会删除其下的所有子目录,不支持删除带有API的目录。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/servicecatalogs/batch-delete 表1 路径参数
MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接M
在添加授权页面,设置授权的截止时间、选择集群(仅专享版涉及),勾选IAM应用名称,然后单击“确认授权”,完成API的授权。 图1 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。
作业移动时,支持将作业移动到翻牌目录下。 移入翻牌目录的作业支持移出。 业务日期模式空间下,移动作业到翻牌目录时,系统会校验偏移量,偏移量一致才能移动成功,如果移动的作业为调度中且与翻牌目录下的作业存在进度偏差,系统会提示进度偏差,确认移动后,作业会通过追跑或等待运行的方式使作业进度达到一致。 父主题:
原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。
objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-val
级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析,
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输出功能的参数配置。 查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。 父主题: 节点参考
强制解除依赖执行 可以对有依赖关系的作业实例进行强制解除依赖执行。 更多 > 查看 跳转至作业开发页面,查看作业信息。 更多 > 历史性能 可以查看作业实例监控的历史性能折线图。 更多 > 查看重跑历史 可以查看作业实例重跑的历史记录。 当重跑次数大于0时,才能查看作业实例重跑历史记录。 更多
通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。 本示例涉及的数据表如下所示: trade_log:记录每一笔交易数据。
单击作业名称,可以查看该作业的详细信息。 选择“基本信息”,查看该作业的基本信息。 选择“监控信息”,查看该作业的监控信息。 单击“查看监控指标”,进入云监控服务界面查看该作业的相关监控指标。 单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 查看已创建的告警规则,包含“名称/ID”、“告警策略”。
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓
需要与其他云服务互通时,需要确保与其他云服务的企业项目一致。 作业日志OBS路径 用于指定DataArts Studio数据开发作业的日志存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发,必须具备“作业日志OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写数据开发的作业日志。
通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达
返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。使用GET和POST请求查看。