检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio实例并行节点数上限 DataArts Studio实例作业节点调度次数/天配额 DataArts Studio实例并行节点数上限 <=500 10 <=5000 50 <=20000 100 <=40000 200 <=80000 300 > 80000 400 图1
操作步骤 图2 授权流程 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。
图1 业务场景示例 在本示例中,我们最终输出的是客户需求的报表中过去一年全国所有有效经营面积的平均坪效值。我们的数据源提供了一张订单表用于计算总金额,和一张门店表用于计算经营面积。
图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。
图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。
操作步骤 图2 授权流程 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。
图2 新建目录权限策略 相关操作 编辑策略:在目录权限页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在目录权限页面,单击对应策略操作栏中的“删除”,即可删除策略。当需要批量删除时,可以在勾选策略后,在策略列表上方单击“批量删除”。
图1 下载中心 配置默认的OBS路径地址 工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。
图1 批量操作 父主题: 管理API
图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型,如图2所示。
图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:开发者需要在数据开发的开发环境,进行脚本、作业开发等操作,开发完成后进行测试运行、提交版本,最终提交发布任务。
图1 添加自定义属性 表1 作业任务参数一览表 参数名 参数类型 默认值 参数说明 jobmanager.memory.process.size int 3586MB jobmanager的处理内存,直接影响堆内存大小。
图1 批量操作 发布API:API调试成功后,为方便API调用者调用,您可以将API发布,具体操作请参见发布API。 父主题: 开发数据服务API
图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏,包括业务场景实例和我的订阅。 业务场景实例:展示当前用户的所有业务场景实例内容。 我的订阅:展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。
图1 华为数据治理工作思考 父主题: 华为数据治理案例
图1 通知配置 表1 通知参数 参数 是否必选 说明 通知名称 是 设置发送的通知名称。 调度周期 是 选择通知发送的调度周期,可以设置为按“天”、“周”或“月”发送。
图1 配置分类规则 表1 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类,支持内置(按模板添加)和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级管理页面进行设置,详情请参见新建数据密级。
图2 使用浏览器调用API 父主题: 通过不同方式调用API
图1 申请权限 申请后,需要等待审核中心审核,方可授权成功。 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。
图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据,默认为true。