检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
int 512 DWS单次写入的数据大小,默认为512MB,可在目的端配置的高级配置中设置。 当缓存的数据达到数据大小限制时,触发数据写入。 与批写最大数据量类似,单次写入大小增大可以减少请求DWS的次数,但可能导致单次请求时长增加,同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载,
数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 案例 案例:贸易数据统计与分析 使用云数据迁移(Cloud Data Migration,简称CDM)将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供
已在管理中心创建RestClient类型的数据连接,连接中的用户名和密码信息配置为第三方平台的认证凭据。请参考创建DataArts Studio数据连接。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员可以创建、编辑、删除外部接口,其他普通用户无权限操作。
处理建议 Cdm.0000 系统错误。 请联系客服或技术支持人员协助解决。 Cdm.0003 Kerberos登录失败。 检查keytab与principal配置文件是否正确。 Cdm.0009 %s不是整型数字或超出整型数的取值范围[0~2147483647]。 请根据错误提示将参数修改正确后请重试。
是否忽略OBS监听默认为“是”。 企业模式下,开发者不能对作业实例进行重跑。 查看作业的节点信息 单击作业名称,在打开的页面中单击作业节点,查看该节点的相关关联作业/脚本与监控信息。 单击作业名称,在打开的页面中查看该作业的作业实例,详情请参见批作业监控:作业实例。 调度作业相关 支持执行调度、暂停调度、恢复调
e) { e.printStackTrace(); return; } 对请求进行签名,并为请求添加x-Authorization头,值与Authorization头相同。然后生成okhttp3.Request对象来访问API。 1 2 3 4 5 okhttp3.Request
图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,在拷贝客户端软件包到待安装客户端节点的指定目录。以
数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。
Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户有权限新建、编辑或删除目录权限策略。 约束与限制 一旦在当前工作空间内配置了数据开发、数据服务或数据架构的目录权限策略,将导致非授权对象的普通用户(即非DAYU Administrator、Tenant
在进入DataArts Studio控制台首页时,已在弹出访问授权对话框中选择同意授权,以便系统自动创建名为dlg_agency的委托。 约束与限制 委托授权成功后,需要等待约15-30分钟待权限生效,然后可正常使用数据安全进行访问权限管理。 为dlg_agency委托授权 为dlg
定义。 前提条件 在新建衍生指标之前,请先确认原子指标已经新建并发布。 如果衍生指标将使用时间周期,请先确认时间周期已经新建并发布。 约束与限制 单工作空间允许创建的衍生指标个数最多5000个。 新建衍生指标并发布 在DataArts Studio控制台首页,选择实例,单击“进入
Studio权限管理。 图1 权限体系 若您需要对除DataArts Studio之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。 约束与限制 DAYU User系统角色为用户提供了实例及工作空间和依赖服务的相关权限,具体工作空间内的业务操作权限由工作空间角色提供。 IAM提供
Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 DataArts Studio实例中数据开发作业节点运行的并行数上限,与当前实例的作业节点调度次数/天配额有关。 当“作业节点调度次数/天配额<=500”时,节点运行的并行数上限为10。 当“500<作业节点调度
] } ] } 自定义策略创建完成后,再次进入“用户组”,单击DQC用户组后的“授权”,进入授权操作。首先选择“角色与策略授权”,勾选如下系统角色和自定义策略为对象授权。 系统角色DIS Operator和DIS User 自定义策略DataArtsStud
进行签名,执行此函数会在请求中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头,值与Authorization头相同。 s.Sign(r) authorization := r.Header.Get("Authorization")
文件时,才能校验MD5值。 计算源文件的MD5值,并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件,则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。
SQL脚本:请参见SQL语法参考。 GBase SQL脚本:请参见SQL语法参考。 前提条件 已开通相应的云服务并在云服务中创建数据库。 已创建与脚本的数据连接类型匹配的数据连接,请参见新建数据连接。Flink SQL脚本不涉及该操作。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚
huaweicloud.com' ); 进行签名,执行此函数会生成一个$curl上下文变量。然后为请求添加x-Authorization头,值与Authorization头相同。 1 2 3 4 5 6 7 $curl = $signer->Sign($req); $req->hea
以查看已发布的API。 本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据