检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
始重跑。如果重跑成功状态的作业实例,就会从第一个节点开始重跑。 重跑作业实例时,需要选择“使用的作业参数”和“是否忽略OBS监听”。 使用的作业参数可设置为“使用原有作业参数重跑”或“使用最新提交作业参数重跑”。 是否忽略OBS监听默认为“是”。 企业模式下,开发者不能对作业实例进行重跑。
在作业目录中,双击已开发完成的作业名称,进入作业开发页面。 在作业画布或编辑器上方单击“提交”,提交版本。选择审批人,描述内容长度最多为128个字符,并勾选是否在下个调度周期使用新版本,不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中
List<Resource> 资源列表。 表4 Resource参数说明 参数名 是否必选 参数类型 说明 id 是 String 资源ID,用户查询资源时使用。 name 是 String 资源名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 type 是 String
您需要重新发布表,才能使更新后的表生效。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 数据表 选择“全部”时,将数据库中的所有的表都导入。 选择“部分”时,请选择需要导入的表。 单击“确定”
开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的,我们希望每天都能将基于原始数据的最新图数据更新到GES中,则需要使用数据开发按如下步骤编排作业,并定期调度。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
不支持 FLOAT(M,D) 不能使用无符号的浮点数字。可以定义显示长度(M)和小数位数(D)。这不是必需的,并且默认为10,2。其中2是小数的位数,10是数字(包括小数)的总数。小数精度可以到24个浮点。 FLOAT DOUBLE(M,D) 不能使用无符号的双精度浮点数。可以定义显示长度(M)和小数位数(D)。
查看top_active_movie表数据 开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的,我们希望每天更新Top10电影,那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id
配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后,后续转储运行结果时,将默认使用此次配置的OBS路径进行转储;已转储的运行结果路径不会改变,请以列表中返回路径为准。 单击“确定”。 查看脚本执行的结果 选择“数据开发 >
开启可覆盖时,新创建的策略将覆盖当前策略(新策略生效而旧策略不生效)。默认开启。 当用户需要创建一个临时访问策略时,“可覆盖”可以配合“有效时间”一起使用,那么即使临时访问策略超过有效期失效后,也不影响原有的权限策略继续生效。 审计日志 开启表示记录日志,日志内容包括客户端访问时间、客户端IP、客户端用户、操作资源结果等信息。
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作
Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。
管理中心操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
支持查看启动作业执行的全部节点算子实例数的曲线图。 支持查看启动作业执行的不同类型节点算子实例数的曲线图。 DLI运行作业数/队列CU使用量 支持通过DLI队列和时间筛选查看DLI运行作业数和队列CU使用量。 系统默认支持查看七天内的数据。最多可查看一个月的数据。 仅支持查看非默认队列的数据。单击队列名称,可以将某个队列进行置顶。
新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 单击“确定”,完成配置。 父主题: 数据架构
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等 通过历史的结构化数据进行数据分析 使用成本 起步成本低,后期成本较高 起步成本高,后期成本较低 数据质量 包含大量原始数据,使用前需要清洗和标准化处理 质量高,可作为事实依据 适用对象 数据科学家、数据开发人员为主 业务分析师为主
关系数据库中的表名称。类型名称只能全部小写,不能有大写。 说明: Elasticsearch搜索引擎7.x及以上版本不支持自定义类型,只能使用_doc类型。此处即使自定义也不会生效。 type 管道ID 该参数用于数据传到Elasticsearch后,通过Elasticsearc
S Ranger组件提供,而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一,则会上传算法依赖的JAR包到MRS集群,并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限,详见参考:配置Ranger组件中的UDF相关权限。 数据安全