检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题: 数据目录API
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“
后才能运行。 提交态表示作业保存后会自动提交,需要审核通过才能运行。 生产态表示作业跳过审批环节,创建后可以直接运行。注意:只有工作空间的管理员用户才能创建生产态的作业。 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。
压越严重 ≥ 0 实时处理集成作业 1分钟 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单
量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上任务最晚完成时间之
只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。 dimensions Array of FactTableAttributeVO objects 事实表维度信息,只读。 attributes
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单
秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_
如果当前作业需要根据文件或目录是否存在,从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符,满足该过滤条件的文件才
通过发布历史,可以查看该衍生指标的发布历史和不同发布版本之间的差异对比。 管理衍生指标 进入数据架构的“技术指标 > 衍生指标”页面,您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。 图3 管理衍生指标 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“衍生指标”页签,进入衍生指标页面。
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - OBS测试路径 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路
该配置会占用总体资源,影响新增其他作业,非必要不配置。 taskmanager.memory.managed.fraction int 0.2 taskmanager管理内存占比。 taskmanager.memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。
选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 等待审核人员审核。 审核通过后,时间限定创建完成。 管理时间限定 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签,进入时间限定页面。 图3 时间限定页面 您可以根据实际需要选择如下操作。
有region的通道发送消息。 数据通道连接名称 否 仅当“是否使用DIS数据通道连接”选择为“是”时,需要配置此参数。 配置本参数前需在管理中心中组件创建DIS连接,然后在此处进行选择。 当“是否使用DIS数据通道连接”选择为“否”时,无需配置。 通道所属Region 否 使用DIS
用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。