检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 失败原因。 表14 ClusterLinks 参数 参数类型 描述 rel String 关系。 href String 链接地址。 表15 ClusterTask 参数 参数类型 描述 description String 任务描述。 id String 任务id。
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 当前用户提交Spark SQL脚本到MRS时,默认提交至其绑定的租户队列(绑定队列即用户绑定的租户类型角色所对应的队列)中运行
开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共IAM账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操作才能将变更提交到生产环境,需要管理者或部署者审批通过,才能发布成功。 劣势 存在不稳定、不安全的风险。 无法设置开发环境和生产环境隔离,只能进行简单的数据开发。
e、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts
“驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本及以上版本,如果低于5.1.48版本则连接会报错“The
的最大线程数。 脏数据 脏数据是对于业务没有意义或者格式非法的数据。例如,源端是VARCHAR类型的数据写到INT类型的目标列中,导致因为转换不合理而无法写入的数据。 作业(数据开发) 在数据开发中,作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。 节点 节点用于定义对数据执行的操作。例如,使用“MRS
提交人名称。 task_type 否 integer 任务类型。 1:作业 2:脚本 3:资源 update_type 否 integer 变更类型,默认值1。 1:新增 2:修改 3:删除 表6 发布包审批信息的参数说明 参数名 是否必选 参数类型 说明 user_id 否 String
选择待执行的CDM作业所属的CDM集群。 此处支持勾选两个CDM集群,用于提升作业可靠性。 勾选两个集群时,集群是随机下发,用于分担系统负荷。当其中一个集群状态异常后,会触发切换到另一个集群运行作业。 勾选两个集群的场景下,“作业类型”不推荐选择“创建新作业”,应设置为“选择已存在的作业”,且确保两个集群下分别存在
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持语法检查。在编辑器上方,单击“语法检查”,可以对SQL语句进行语义校验。SQL语句校验完成后,可以在下方查看语法校验结果。
认”。导出完成后,请到下载中心查看导出的内容。 如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数
原子指标的计算逻辑修改生效后,会直接更新应用于相关的衍生指标。 原子指标删除英文名,需要校验下游是否有衍生指标使用,如果有,则无法删除。 目前原子指标在被下游使用的情况下,支持变更英文名。 原子指标的更改会影响下游衍生指标。 约束与限制 单工作空间允许创建的原子指标个数最多5000个。 前提条件 您已创建并发布事实表
在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“动态脱敏”,进入动态脱敏页面,然后切换到“动态脱敏订阅”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”,弹出创建订阅窗口,参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明:
主题首次同步名称冲突时,会将普通目录修改为主题目录属性,带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时,会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。
就不再同步到角色,而是只同步到用户信息。 数据权限:在角色详情页面,单击“数据权限”进入数据权限页签。数据权限页签默认展示数据视角,可手动切换到权限视角。在这两种视角下,配置的权限数据是互通的,差异仅为展示视角的不同,推荐您使用权限视角进行批量授权。 数据视角:数据视角下,系统从
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前DataArts Studio实例创建完成后不支持切换默认CDM集群的VPC、子网、安全组,请谨慎选择。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买DataArts
全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前DataArts Studio实例创建完成后不支持切换默认CDM集群的VPC、子网、安全组,请谨慎选择。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买DataArts
但不能回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更 : 修改队列规格的权限 图6 DLI队列详情 相关操作 删除队列资源:在队列权限目录页面,先单击选择需要删除的队列资源,然后单击目录上方的,即可删除队列资源。
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
主题首次同步名称冲突时,会将普通目录修改为主题目录属性,带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时,会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。