检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,单击“用户管理”,在用户管理页
Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,单击“用户管理”,在用户管理页
BY条件。维度多数具有层级结构,如:地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。 对系统的影响 维度发布并通过审核后,系统会自动创建与维度相对应的维度表,维度表的名称和编码均与维度相同。 新建维度并发布 在DataArts Studio控制台首
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为同一
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(如密码
数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。 若需解决以上两个问题,则可配
SQL脚本时,提示id不存在,如何处理? 可能原因 在执行DWS SQL脚本时,提示id不存在,原因是由于id的大小写引起的。 解决方案 DWS执行SQL时,系统默认是小写,如果是大写字段需要加""。 举例:select * from table1 order by "ID"; select * from
查看日志: 报错:Content type 'application/octet-stream' not supported 可能原因 目前系统支持Content-Type参数支持application/json。 Content-Type消息体的类型(格式),默认取值为“application/json”。
质量作业创建完成后,可以在作业里面进行查看,系统支持通过作业名称、创建人、责任人、表名、最近运行时间进行筛选。同时,系统支持模糊搜索。 质量作业创建完成后,可以对质量作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个质量作业 系统支持运行单个质量作业。 选择“数据质量监控
维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
导入维度 上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图30 导入维度成功 选择“事实表”页签,选择需要导入的DWR模型,单击列表上方的“更多 > 导入”按钮,在弹出的导入窗口中,选择并上传需要导入的事实表文件。 图31 导入事实表 上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。
数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。 父主题: 数据开发
未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Stu
作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和
如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。
如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。
数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个
从OBS导入的作业文件,最大支持10Mb;从本地导入的作业文件,最大支持1Mb。从本地导入的作业文件, 解压后大小最大支持1Mb。 如果导入的作业在系统中有重名时,需要确保系统中该作业状态为“停止”时,才能导入成功。 在作业目录中导入一个或多个作业 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。