检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Company"); INSERT INTO dim_vendor VALUES ("2","B Company"); 单击“运行”按钮,测试脚本是否正确。 图2 运行脚本 测试通过后,单击“保存”按钮,在弹出框中输入脚本名称如:demo_taxi_dim_data,选择保存的脚本路径并单击“提交”按钮提交版本。
Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。 调用成功时,返回HTTP状态码为“200”和Response信息。 调用超过默认60秒无结果时,会报超时错误。
可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 参考 创建DWS数据连接,开启SSL连接时测试连接失败? 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。
或Body,由于无法传参因此不支持浏览器调用。 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 父主题:
作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群
下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后,后续转储运行结果时,将默认使用此次配置的OBS路径进行转储;已转储的运行结果路径不会改变,请以列表中返回路径为准。
回填已生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后,单击,测试运行作业。 图7 测试运行作业 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图8 调度配置 说明: 2023/04/01 00:00开始,每天00点00分执行一次作业。
"1082235079767502860", "fd_name" : "nameCh", "fd_value" : "测试8M数据标准导入111449" }, { "id" : "1082235079767502861", "fd_name"
重建数据表:先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 单击“确定”,完成配置。 父主题: 数据架构
Spark节点的主类,本例的主类是“org.apache.spark.examples.SparkPi”。 Spark程序资源包:3中创建的资源。 作业编排完成后,单击,测试运行作业。 图4 作业日志(仅参考) 如果日志运行正常,保存作业并提交版本。 父主题: 使用教程
为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - OBS测试路径 “OBS支持”设置为“是”时,呈现此参数。 请填写完整的文件路径,将调用元数据查询接口来校验路径的访问权限。 说明: 如果是对象存储
如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。 父主题: 调用数据服务API
current[0]}、#{Loop.current[1]}。 图7 配置For Each节点 配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
current[0]}、#{Loop.current[1]}。 图7 配置For Each节点 配置完成后保存作业。 测试运行主作业。 单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进
据源压力最小的时间段。 数据血缘的产生依赖于数据开发中调度运行的作业,测试运行的作业不会产生血缘。 元数据采集模块总览中的数据连接历史统计支持按照7天、15天和30天展示。 数据服务 数据服务共享版仅供开发测试使用,专享版性能优于共享版,推荐使用数据服务专享版。 DataArts
数据连接:默认选择SQL脚本“hive_sql”中设置的数据连接,支持修改。 数据库:默认选择SQL脚本“hive_sql”中设置的数据库,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/0
SQL脚本“top_bad_comment_product”。 Finish(Dummy节点):不执行任何操作,只作为结束点的标识。 作业编排完成后,单击,测试运行作业。 如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属
Studio上任务开发与运维流程。详情请参见企业模式业务流程。 生产数据权限管控差异 开发人员可直接使用生产数据进行测试,无法保障生产数据安全。 开发人员在开发环境可使用测试数据进行测试,生产环境数据可读。 不同模式工作空间的优劣势对比 表3 不同模式工作空间的优劣势对比 对比 简单模式 企业模式
\"status\":null,\"nameCh\":\"test_l2_1_test_l2_2_1-wg测试\",\"nameEn\":\"test_l2_1_test_l2_2_1-wg测试\",\"lastL2Id\":null}],\"reverseRelations\":[],\"mappings\":null