检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案 添加如下两条命令: export LD_LIBRARY_P
导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间,保证同一时间只保留一个调度任务。 父主题: 数据开发
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 删除一个连接。 DELETE /v1/b384b9e9ab9b4ee8994
调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 父主题: 数据开发
查询单个资源权限策略 功能介绍 查询单个资源权限策略 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-resource/{policy_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Ranger权限访问控制 配置资源权限 查看权限报告 父主题: 统一权限治理
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连
创建规则分组接口 功能介绍 创建规则分组接口 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/group 表1 路径参数 参数 是否必选 参数类型 描述 project_id
在“变量”里面输入该变量para和变量值。该值的大小不能超过1024个字符。 图3 配置作业参数 按照上述方法就可以解决请求头参数值输入的长度问题。 父主题: 数据开发
账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则:分钟是最小调度粒度,没有自然分钟周
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
理解呢? 在标准数据治理模型下,事实表中的维度信息,都来自于维度表。因此创建原子指标的时候,是通过事实表中来源于维度表的属性来关联维度表的。 如果需要基于维度信息生成原子指标,需要先通过维度表创建事实表,再通过原子指标关联事实表中的维度属性来创建。 父主题: 数据架构
* from table1 order by "ID"; select * from table order by "ID"; 父主题: 数据开发
接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m 如图所示: 父主题: 数据集成(CDM作业)
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工
minute",如下图所示。 图1 报错信息 解决方案 由于MRS服务的接口限制了单个用户每分钟最多调用60次,因此只能通过降低调用频率来解决该问题。 父主题: 数据开发
table 导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入
查询集群的企业项目ID 功能介绍 查询指定集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述