检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,在拷贝客户端软件包到待安装客户端节点的指定目录。以
单击“添加作业标签”,弹出“添加作业标签”对话框进行配置。 7 查看作业的节点信息 单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。 说明: 当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 8 “禁用”和“恢复”节点 单击作业名称,进
Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户有权限新建、编辑或删除目录权限策略。 约束与限制 一旦在当前工作空间内配置了数据开发、数据服务或数据架构的目录权限策略,将导致非授权对象的普通用户(即非DAYU Administrator、Tenant
定义。 前提条件 在新建衍生指标之前,请先确认原子指标已经新建并发布。 如果衍生指标将使用时间周期,请先确认时间周期已经新建并发布。 约束与限制 单工作空间允许创建的衍生指标个数最多5000个。 新建衍生指标并发布 在DataArts Studio控制台首页,选择实例,单击“进入
数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。
在进入DataArts Studio控制台首页时,已在弹出访问授权对话框中选择同意授权,以便系统自动创建名为dlg_agency的委托。 约束与限制 委托授权成功后,需要等待约15-30分钟待权限生效,然后可正常使用数据安全进行访问权限管理。 为dlg_agency委托授权 为dlg
进行签名,执行此函数会在请求中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头,值与Authorization头相同。 s.Sign(r) authorization := r.Header.Get("Authorization")
Signature=9e5314bd156d517******dd3e5765fdde4" -d "" 为命令添加x-Authorization头,值与Authorization头相同。将curl命令复制到命令行,访问API。 $ curl -X POST "https://{apig-endpoint}/"
] } ] } 自定义策略创建完成后,再次进入“用户组”,单击DQC用户组后的“授权”,进入授权操作。首先选择“角色与策略授权”,勾选如下系统角色和自定义策略为对象授权。 系统角色DIS Operator和DIS User 自定义策略DataArtsStud
文件时,才能校验MD5值。 计算源文件的MD5值,并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件,则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。
M作业、离线作业和实时作业三种场景,支持的数据源情况如下: 数据集成(CDM作业)的数据连接在CDM集群中创建,CDM集成作业支持的数据源与CDM集群版本相关,详情请参见数据集成(CDM作业)支持的数据源。 数据集成(离线作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”
SQL脚本:请参见SQL语法参考。 GBase SQL脚本:请参见SQL语法参考。 前提条件 已开通相应的云服务并在云服务中创建数据库。 已创建与脚本的数据连接类型匹配的数据连接,请参见新建数据连接。Flink SQL脚本不涉及该操作。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚
huaweicloud.com' ); 进行签名,执行此函数会生成一个$curl上下文变量。然后为请求添加x-Authorization头,值与Authorization头相同。 1 2 3 4 5 6 7 $curl = $signer->Sign($req); $req->hea
统预测任务无法在4:10分完成,则会发出基线报警。 预警余量(分钟) 设置该基线任务运行结束的预警时间。 用于定义基线的预警时间。承诺时间与任务预计完成时间至少间隔5分钟,否则会导致频繁报警。建议预警余量基于基线上任务的运行时长来配置。 基线任务开关 :开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。
以查看已发布的API。 本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据
分隔符来区分各个文件,默认为“|”。 fromJobConfig.md5FileSuffix 否 String 校验CDM抽取的文件,是否与源文件一致。 父主题: 源端作业参数说明
Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下,此处仅说明需要哪些配置文件与打包原则,各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包: hosts core-site
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在
已完成无认证方式的API或API工作流的发布,在服务目录中可以查看已发布的API。 本章以Chrome浏览器为例,因此需要已安装Chrome浏览器。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据
进行签名,执行此函数会在请求参数中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头,值与Authorization头相同。 1 2 sig.Sign(r) r.headers["x-Authorization"] = r.hea