检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认情况下,节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”
HDFS读取方式时,支持按Hive文件分片。 JDBC读取方式时,不支持分片。 FusionInsight HDFS 支持按文件分片。 FusionInsight HBase 支持按HBase的Region分片。 FusionInsight Hive HDFS读取方式时,支持按Hive文件分片。
配置CDM节点的失败策略 右键单击连线,选择“设置条件”,在弹出的“编辑EL表达式”文本框中输入IF条件。 每一个条件分支都需要填写IF条件,IF条件为通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过。 此Demo中使用的EL表达式为“#{Job
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节
参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 为
如果存在同名API,则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项目直接导出的API文件,也可以是通过模板填写的Excel文件,需要确保符合模板规范要求。 图5 导入API 导入成功后,即可在API列表中查看导入的API。 父主题: 管理API
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对应数据湖产
workspace 工作空间id,获取方式请参见实例ID和工作空间ID。 调用批量数据迁移或实时数据接入API时无需配置。 调用数据开发API时,有多个DataArts Studio实例时必选。 只有一个DataArts实例时可选。不填写则默认查询default工作空间数据,如需查询其他工作空间需要带上该消息头。
据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 您可以使用本文档提供的API对数据治理中心的各
分类类型选择“自定义”,用户可以自行填写分类名称。 说明: 定义数据分类规则,名称必须唯一。 识别规则 分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述
单位为MB。 toJobConfig.duplicateFileOpType 否 枚举 重复文件处理方式,只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式: REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:发现重复文件停止任务。 toJobConfig
DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤? Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting at 1 but was 0”怎么办? Pos
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Nodejs安装包,如果未安装,请至Nodejs官方网站下载。 Nodejs安装后,在命令行中,用npm安装“moment”和“moment-timezone”模块。 npm install moment
√ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理 √ √
例如:GET 认证账号 否 认证方式为OAUTH_CODE_GRANT模式时显示该参数。 Oauth 2.0模式需要填写账号,可以用#authUsername获取此参数,填写到authHeader参数或者authbody参数中。 认证密码 否 认证方式为OAUTH_CODE_GRANT模式时显示该参数。
需要添加数据加密方式属性:属性名称填写为security.protocol,值根据Kafka实例中的安全协议填写为SASL_SSL或SASL_PLAINTEXT。 当DMS Kafka实例的连接信息中配置SASL认证机制后,需要添加认证方式的属性:属性名称填写为sasl.mec
如何在IAM中创建细粒度权限策略? 如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? 用户已添加权限,还是无法查看工作空间? IAM用户操作时报错“无xx权限”怎么办? DataArts Studio的工作空间可以删除吗? 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费?
选择执行Shell脚本的主机。 单击右侧的“输入参数”,可以输入执行Shell脚本的参数和交互式参数。 表2 Shell脚本参数 参数 说明 参数 填写执行Shell脚本时,向脚本传递的参数。多个参数之间使用空格分隔,例如:a b c。 此处的“参数”需要在Shell脚本中使用位置变量(如
String 主机的SSH端口号 userName 是 String 主机的登录用户名 password 是 String 主机的登录方式为密码时,填写主机的登录密码。 agentName 是 String 连接代理,即CDM集群名称。 通过DataArts Studio管理控制台 >
认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具