检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。 修改自定义排序方式的排序参数为升序或降序方式,则此排序参数按照修改后的排序方式排序。 pre_order_by的值,不支持进行如下修改,否则会修改不生效或导致调用报错。 删掉某必选的排序参数,
查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id_list 否 Array of strings 所属主题的ID列表,ID字符串。 biz_type_list 是 Array of strings 查询的表类型,必填。 枚举值: TABLE_MODEL_LOGIC:
MRS非安全集群,由于Ranger组件默认同步unix用户,不会同步Manager上的用户/用户组/角色,因此需要切换用户同步策略。操作详情请参考配置Ranger组件。 Ranger连接用户权限 连接中的用户具备Ranger组件Admin权限。 Ranger连接中的用户需要具备Ranger组件Admin权限,操作详情请参考准备Ranger
从Kafka拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 最新 抽取数据最大运行时间 持续拉取数据时间。如天调度作业,根据每天topic产生的数据量,配置足够的拉取时间。单位:分钟。
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
适用组件勾选数据集成后,呈现此参数。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后,呈现此参数。 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
获取当前目录下的目录列表(全量) 功能介绍 获取当前目录下的目录列表(全量数据,不分页,推荐仅用于生成目录树等无法分页的场景)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/catalogs
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
称为对应的数据表名,将后文提供的各样例数据分别复制粘贴到不同CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注
您可以将某个DataArts Studio实例的数据指标中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。 下载的流程模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。
后根据页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备
明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。
单击“Next”。 图2 New Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 “signer.php”为示例代码,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。
说明: 定义基线的优先级,数值越大基线优先级越高,基线上任务的优先级也会越高。优先级高的任务,在调度资源紧张的情况下,将优先获得调度资源。配置优先级后将会在第二天生成的周期实例中生效。 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。
_sdi_db中的原始数据表。 图26 逆向数据库 逆向数据库成功后,单击“关闭”。逆向后的表为草稿状态,在单击“发布”后,在列表中可查看导入并发布的表。 图27 查看表 请参照以下步骤,新建一个“标准出行数据”的标准化的业务表。 在“数仓规划”页签中,单击新建的DWI关系模型,
能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数,开启后不同数据库中的相同数据,经过相同的规则脱敏后,脱敏结果是一致的。注意此参数开启
使用C#语言调用APP认证的API时,您需要先获取SDK,然后打开SDK包中的工程文件,最后参考API调用示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Visual Studio,如果未安装,请至Visual