检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}},表示查找ts字段中大于时间宏转换后的值,即只导出昨天以后的数据
不自动创建 源端null值转换值 将源端null值转换为其他值。 TO_NULL TO_EMPTY_STRRING TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。
单击“消息通知服务”,左侧列表选择“主题管理 > 主题”。 在主题列表中可以获取到SMN主题URN。 subject 是 String 消息标题,给邮箱订阅者发送邮件时作为邮件主题。
单击“消息通知服务”,左侧列表选择“主题管理 > 主题”。 在主题列表中可以获取到SMN主题URN。 subject 是 String 消息标题,给邮箱订阅者发送邮件时作为邮件主题。
不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
约束与限制 由于鉴权缓存机制的限制,工作空间成员的角色发生变更后,不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使角色变更生效。
图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}},表示查找ts字段中大于时间宏转换后的值,即只导出昨天以后的数据
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
约束与限制 由于鉴权缓存机制的限制,工作空间成员的角色发生变更后,不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使角色变更生效。
在任务发布界面,切换到“发布包管理”,您可以看到开发者提交的待审批任务。您可以通过“查看详情”操作,查看当前任务相比上一版本的修改点。 如有问题,可以通过“撤销”驳回发布任务。由开发者修改后重新提交发布任务,再度进行审批。
是 匹配数据类型 是否匹配类型,例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题: 配置作业目的端参数
Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。
作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。
按时间宏筛选:例如 {"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,HOUR)}")}},表示查找ts字段中大于时间宏转换后的值。
图1 表权限视图 在表权限视图页面,您可以通过切换页签,查看表权限的不同拥有对象: “表-用户”页签:默认展示当前实例下,通过授权对象为用户的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,并通过用户名、集群名称、数据库或表名检索。
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分。
toJobConfig.pipeLine 否 String 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
在“变更记录”页签,查看数据表变更详情。 父主题: 查看工作空间数据地图
数据目录管理模块完成元数据的采集和注册,为数据应用和数据消费提供了解数据的窗口。 数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实,数据服务打通数据应用和数据消费的物理通道。