检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。
度资源紧张的情况下,将优先获得调度资源。配置优先级后将会在第二天生成的周期实例中生效。 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 关于优先级约束限制的更多信息,请参见基线运维约束限制。 承诺时间 设置该基线任务运行结束的承诺时间。
分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。 父主题: 免费版:基于DLI的电商BI报表数据开发流程
getRuleTemplateList 更新规则模板 RuleTemplate updateTemplate 查询规则模板 RuleTemplate getTemplate 获取依赖规则模板的质量作业和对账作业 RuleTemplate getDependentTasks 批量更新作业的规则模板 RuleTemplate
表达式配置方法如下所示。 #{DateUtil.getMonth(Job.planTime) == 6 ? "true" : "false"} 表达式的含义是:获取当前的时间点,判断是不是6月,如果是,则表明当前是6月,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 父主题: 使用教程
发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本
user over ratelimit,limit:60,time:1 minute",如下图所示。 图1 报错信息 解决方案 由于MRS服务的接口限制了单个用户每分钟最多调用60次,因此只能通过降低调用频率来解决该问题。 父主题: 数据开发
如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。
如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。
配置细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时,数据源将不再使用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集或队列权限中的权限管控生效。 服务资源管控流程 配置队列权限 队列权限可以为当前工作空间分配可使用的MRS
在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 需要具备如下最小权限:SELECT、SHOW DATABASES、REPLICATION
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 说明: CDM
配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts Studio实例的并行节点并发数上限。 DataArts Studio实例的节点并发数上限可通过表2获取。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。
User权限,则还需要添加工作空间成员和角色,否则会导致IAM用户无法查看已有的DataArts Studio工作空间。 约束与限制 由于鉴权缓存机制的限制,工作空间成员的角色发生变更后,不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使角色变更生效。
参见配置HBase/CloudTable源端参数。 MRS Hive FusionInsight Hive Apache Hive 支持从Hive导出数据,使用JDBC接口抽取数据。 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。 参见配置Hive源端参数。 DLI 支持从DLI导出数据。
ink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图4所示。 图4
关权限,所需权限如表1所示。 表1 待授予权限合集 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。 例如用户或权限同步时,如果无此权限会导致操作失败。 MRS/DWS/DLI权限管理时必选 iam:users:listUsers
删除标签 tag deleteTag 新建任务目录 bridgetaskcategory createBridgeTaskCategory 获取任务目录列表 bridgetaskcategory getBridgeTaskCategoryTree 编辑任务目录 bridgetaskcategory
User权限,则还需要添加工作空间成员和角色,否则会导致IAM用户无法查看已有的DataArts Studio工作空间。 约束与限制 由于鉴权缓存机制的限制,工作空间成员的角色发生变更后,不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使角色变更生效。
据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对