检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase后,可以使用命令恢复。对于那些会变化的数据,需要使用快照保证数据不变,然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群,2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。
data_connection_id 否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必
Studio对接数据源,即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据集成数据连接相互独立,使用场景各有不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使
CDM是否支持参数或者变量? 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在DataArts Studio数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 父主题: 数据集成(CDM作业)
Studio支持自定义的Python脚本吗? 问题描述 DataArts Studio自定义的Python脚本是否支持。 解决方案 支持。 父主题: 数据开发
服务资源访问控制 配置队列权限 配置空间资源权限策略 配置目录权限(高级特性) 配置下载权限(高级特性) 父主题: 统一权限治理
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
JSONUtil内嵌对象 JSONUtil内嵌对象提供了JSON对象方法。 方法 表1 方法说明 方法 描述 示例 Object parse(String jsonStr) 将json字符串转换为对象。 假设变量a为JSON字符串,将json字符串转换为对象,EL表达式如下: #{JSONUtil
模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一:通过右键的“移动”功能。 在脚本目录中选择需要移
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。 一般定义格式为#{Loop.dataArray[0][0]}、#{Loop
不处理实际的业务数据),在Dummy节点与后续执行任务的节点的连线上,您可以配置条件表达式,判断当前的调度时间是否为一年中的指定的某一天进行调度(比如2023年6月29号)。如果是,则执行后续节点,否则跳过后续节点。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
勾选Security Administrator 单击“确定”,给委托完成授权。授权后,等待15-30分钟,权限可正常同步到DLI。 父主题: 数据安全
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inp
请求Body参数 参数 是否必选 参数类型 描述 instance_id 否 String 实例id datasource_type 否 String 数据源类型,hive,dws,dli cluster_id 否 String 集群id,dli传DLI,dws和mrs-hive传对应的集群id
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
认证前准备 Java Go Python C# JavaScript PHP C++ C Android curl 其他编程语言 父主题: 数据服务SDK参考
获取质量报告评分体系 功能介绍 获取质量报告评分体系。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/scoring 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订