检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
√ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群
配置作业节点失败重试及配置作业失败告警:通过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行的情况,即使发生失败也可以及时通知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配置作业超时告警,可以提前发现作业运行的潜在风险问题,判定当天是否能按基线生成业务
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
数据集成(实时作业) 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
数据开发 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
图5 升级企业模式 升级后操作 升级后需要管理员手工修改数据连接、配置环境隔离,并按照组织分工在工作空间处定义管理员、开发者、部署者、运维者等角色。 修改数据连接:请参考创建DataArts Studio数据连接。 配置环境隔离:请参考配置DataArts Studio企业模式环境隔离。
单线程flush的FileGroup的数量 > 50,推荐值30。 flush的并发数越大,flush时内存会响应升高,请结合实时处理集成作业内存监控适当调整该值。 hoodie.context.flatmap.parallelism int 1 Hudi在commit时,会进行分区扫描
例如,过去一年中,地区订单总金额 / 地区有效经营面积总和。 *统计周期 选择该指标的统计周期,以便指导开发者根据统计周期设计时间周期。 统计周期是系统预设的,系统会提供默认值。 统计维度 支持手动输入,也可以在下拉列表中选择已经创建的维度。维度的创建请参见新建维度。 已创建的统计维度来自数据架构模块。
最后保存并提交版本(单击),执行调度作业(单击)。实现作业每天自动运行,每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图9所示。 图9 查看作业执行情况 父主题: 图数据自动化构建与分析
义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读
际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
BizVersionManageVO object 业务版本管理,只读。 monitor 否 MetricMonitorVO object 指标监控信息。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。
不支持对视图定义行级访问控制策略。 同一张表上可以创建多个行级访问控制策略,一张表最多创建100个行访级问控制策略。 具有DWS管理员权限的用户和初始运维用户(Ruby)不受行访问控制影响,可以查看表的全量数据。 通过SQL语句、视图、函数、存储过程查询包含行级访问控制策略的表,都会受影响。
因此,如果不具备审核人权限的用户需要发布API时,请先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 操作步骤 参考访问DataArts
数据集成 √ √ √ √ 管理中心 √ √ √ √ 数据架构 x x x √ 数据开发 √ √ √ √ 数据质量 x x 支持,但不支持业务指标监控、对账作业和质量报告。 √ 数据目录 x x 支持,但不支持通过管理中心资源迁移进行数据目录(分类、标签、采集任务)导出。 √ 数据服务 x
BizVersionManageVO object 业务版本管理,只读。 monitor 否 MetricMonitorVO object 指标监控信息。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
为可配置为EL表达式,一般配置为#{Loop.current[0]}或#{Loop.current[1]}等,表示循环中取遍历到的数据集二维数组当前行的第一个值或第二个值等,详见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要