检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU
如何调用API 构造请求 认证鉴权 返回结果
v3.0/OS-USER/users”。 query-string 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要创建IAM用户,由于IAM为全局服务,
完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系时,参考查看数据血缘完成元数据采集,并成功完成作业调度后,即可在数据目录组件查看手动配置的MRS Spark节点血缘关系。 父主题: 节点数据血缘
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有
Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。 20009 认证类型 访问集群的认证类型: SIMPLE:非安全模式选择Simple鉴权。
查看同步日志 Migration实时集成服务底层依托于Flink开发而来,同样对外开放了Flink的JobMamager和TaskManager日志,便于用户查看实时同步情况,并通过日志定位或排查异常问题。 前提条件 实时集成作业已启动、启动过。 实时集成作业已正常运行一段时间(约5分钟)。
脚本保存完成且运行成功后,您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3,下载或转储表数据。 SET SEARCH_PATH TO dgc; SELECT * FROM top_rating_movie 图3 查看top_rating_movie表数据 创建DWS
必须指定主机IP。 未指定主机IP。 未指定主机IP,请指定主机IP后,再重试。 Cdm.0963 400 必须指定主机端口。 未指定主机端口。 未指定主机端口,请指定主机端口后,再重试。 Cdm.0964 400 必须指定数据库。 未指定数据库。 未指定数据库,请指定数据库后,再重试。
连接信息标签中可以获取到内网IP、域名和端口等信息。 端口 是 “手动”选择为“连接串模式”时需要配置本参数。 表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。 KMS密钥 是
实例”,配置ClickHouseServer的默认端口,非安全模式MRS集群配置“http_port”参数对应的端口,安全模式MRS集群配置“https_port”参数对应的端口。 如果使用Balancer节点,开启“SSL加密”,配置默认端口。登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据开发中的对象 数据连
作业配置完成后,单击“保存并运行”,回到作业管理界面,在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。
关联关系类型类别,默认空。血缘查询使用DATA_FLOW related_entity_types 否 Array of strings 关联实体类型,指定上下游资产类型,血缘查询使用默认值空。 extend_process_data_flow 否 Boolean 是否扩展数据,血缘查询使用默认值false。
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
资产搜索(邀测) 功能介绍 资产搜索,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/datamap/entities/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id
表关联作业算子列表(邀测) 功能介绍 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/table/{guid}/node 表1 路径参数 参数 是否必选
产出信息(邀测) 功能介绍 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/node/{task_id}/instances 表1 路径参数
单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如: SQLServer默认端口:1433 PostgreSQL默认端口:5432 数据库名称 配置为要连接的数据库名称。 dbname