检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。
Each 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 For Each节点的具体使用教程，请参见For Each节点使用介绍。 For Each节点单次运行时，指定的子作业最多循环执行1000次。 如果DLI SQL作为前置节点，For Each节点最多支持100个子作业。
DLMRequestRecord getAppsOverView 查询api 服务调用topN DLMRequestRecord getApisTop 查询app 服务使用topN DLMRequestRecord getAppsTop 查询api 统计数据详情 DLMRequestRecord getApisDetail
配额的“设置”按钮，对已分配配额进行配置。配置完成后单击“保存”，保存当前配置。 已分配配额表示分配给当前工作空间下可使用的配额。注意，已分配配额不能小于已使用配额，不能大于未分配配额（即总配额-总分配配额）。 数据服务专享版在每个DataArts Studio实例下具有创建10
表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 （推荐）APP认证 高 通过APP应用将API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证。 （推荐）SDK调用：支持Java、Go、
删除CDM集群 操作场景 当您确认不再使用当前集群后，可以删除当前CDM集群。 删除CDM集群后集群以及数据都销毁且无法恢复，请您谨慎操作！ 删除集群前，请您确认如下注意事项： 待删除集群确认已不再使用。 待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。
同步MRS Hive和Hetu权限 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下，通过Hetu访问同集群的Hive数据源，会统一使用Hetu端的Ranger权限做鉴权，而不受Hive端的Ranger权限管控。 为了避免该场景下需要在Hetu端重复
新字段。 说明： 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入
否，跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是，您可以错开数据迁移作业和管理中心连接代理的使用时间，或再创建CDM集群，与原有CDM集群分开使用。 否，跳转至步骤3。 直接重启该CDM集群，释放连接池资源。确认管理中心的数据连接恢复正常。 父主题： 管理中心
通过DWS SQL节点传递SQL语句到DWS中执行。 DWS SQL算子的具体使用教程，请参见开发一个DWS SQL脚本作业。 背景信息 该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，分区处理等操作。 参数 用户可参考表1，表2和表3配置DWS
作业中目的连接为DLI连接时，即将数据导入到数据湖探索服务（DLI）时，目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会
CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名
PI。 下线后的API如果要继续使用，需要重新进行发布操作，但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务，可以将API删除，相关操作请参见删除API。 下线将导致此API在指定的时间无法被访问，请确保已经告知使用此API的用户。 前提条件 已创建API。
种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。
作的协助者。 确保领域治理工作的流程和内容规范，符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据（业务对象、数据标准、数据模型）。 推广和维护数据治理工具和平台在本领域的应用。 数据专员（Data Specialists）：数据专员是领域数据治理工作的专家团队。
调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/instances/detail?jobName={jobName}&minPlanTime={minPlanTime}&maxPlan
面。 在页面的中间栏位的最上方，选择一个需要导出的物理模型。 选择所需导出的表，单击列表上方的“导出”按钮，导出所选的关系建模表，建议导出对象选择为“表”。导出完成后，即可通过浏览器下载地址，获取到导出的xlsx文件。 图5 导出关系建模表 在界面中间栏位的最上方，依次选择其他模
数据治理度量维度 数据治理成熟度评估使用调查问卷方式，包括11个治理模块，60多个调查问卷事项，全方面多维度度量了数据治理工作的水平。 数据治理评分卡使用评分卡形式，由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分，作为一个工具手段持续推动
CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
