检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是:作业运行时系统会自动传递Hive sql脚本名称到MRS。 否:作业运行时系统不会自动传递Hive sql脚本名称到MRS。 单击“保存”,对设置的配置项进行保存。 作业依赖规则 作业能被其他空间作业依赖,需要该空间作业列表的查询权限。
数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
where条件 输入where子句,系统会选择符合条件的数据进行扫描。
不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。
表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。
开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息(元数据、数据字典、数据血缘)。 协助执行IT相关的数据治理工作。
已使用配额:表示当前工作空间下已使用的配额,由系统自动统计。 已分配配额:表示分配给当前工作空间可使用的配额,需要由管理员为每个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。
OBS路径仅支持OBS桶,不支持并行文件系统。 方式2:在IAM用户权限中增加全局OBS管理员权限。 父主题: 数据开发
数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。
使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
已使用配额:表示当前工作空间下已使用的配额,由系统自动统计。 已分配配额:表示分配给当前工作空间可使用的配额,需要由管理员为每个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。
系统最多保存最近三个月的历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。 在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。
c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c 获取“ApiGateway-python-sdk.zip”压缩包,解压后目录结构如下: 名称 说明 apig_sdk\__init__.py SDK代码 apig_sdk\signer.py main.py 示例代码 backend_signature.py
在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。
单击右侧的“模板”,选择刚才创建好的脚本模板,例如412_mobna,系统支持可以引用多个模板。 图1 引用脚本模板 脚本创建完成后,单击“保存”,脚本412_test创建完成。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。