检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。
数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 创建并配置简单模式工作空间 升级企业模式工作空间 授权用户使用DataArts Studio 创建IAM用户并授权
Studio实例内对每个MRS/DWS集群只能有一个用户同步任务,因此用户同步任务为DataArts Studio实例级别配置,各工作空间之间数据互通。 前提条件 新建用户同步任务前,已在管理中心创建数据仓库服务(DWS)或MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts
参数 参数类型 描述 resource_id String 资源id resource_name String 资源名称 resource_type String 资源类型:DATA_CONNECTION,AGENCY 表7 MemberPolicyItem 参数 参数类型 描述 member_id
BasicConfig作业基本信息说明 参数名 是否必选 参数类型 说明 owner 否 String 作业责任人,长度不能超过128个字符。 isIgnoreWaiting 否 integer 实例超时是否忽略等待时间, 取值范围为0和1, 0:表示实例超时不忽略等待时间1:表示实例超时忽略等待时间 priority
参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token
是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Bod
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。 批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体
表3 参数说明 参数名 是否必选 参数类型 说明 alarm_info 否 List<AlarmInfo> 通知记录信息,请参考表4。 total 否 Integer 通知记录数量。 表4 AlarmInfo数据结构 参数名 是否必选 参数类型 说明 alarm_time 否 Long
超过64个字符。 *接口类型 包含加密和消息通知接口两种类型,请根据业务场景选择所需类型。 加密类型:主要用于在数据开发导入数据文件时,根据数据入湖检测规则实时发现敏感数据后,调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型:主要用于配置权限到期提醒
enable参数示例 参数配置完成后,单击左上角的“保存”,在弹窗中单击“确定”保存配置。 保存成功后,切换到实例页签,选择配置已过期的实例后,单击“更多 > 滚动重启实例”,使配置生效。 图9 滚动重启实例 父主题: 服务资源访问控制
是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Bod
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info 否 String 序列化之后的业务详情,类型是string。 biz_info_obj 否 Object 业务详情,类型是object。 biz_version
String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。
String 字段类型。 domain_type String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。
权限体系 表1 DataArts Studio系统角色 系统角色名称 描述 类别 DAYU Administrator 实例管理员,拥有对DataArts Studio实例及工作空间的所有管理权限、依赖服务权限,以及所有工作空间内的所有业务操作权限。 说明: Tenant Admini
Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,ae
String 作业类型: REAL_TIME:实时处理 BATCH:批处理 singleNodeJobFlag 否 Boolean 是否选择单任务,默认为false。 singleNodeJobType 否 String 单任务类型,作业类型为BATCH时类型可选择如下: DLISQL
do;L3表示活动和任务,回答how to do,最小的粒度。用户可根据自己的实际业务需要进行流程的划分和创建。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1 选择数据指标 单击左侧导航栏中“流程设计”,进入流程设