检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“下一步”,配置调度属性如下图所示。 图2 配置调度属性 单击“提交”,完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”,跳转到任务监控页面并查看任务状态。 场景二:更新数据目录中的元数据,添加新元数据 用户的数据库中新增了数据表,采集数据源中指定的所有表。 例如新增table4的情况下:
DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下 DWS集群guest agent版本号需要通过开发者调试工具查看,操作详情请参考查看DWS集群guest agent版本。 DWS连接用户权限 非三权分立模式,连接中的用户至少需具备数据库dbadmin权限, 三
(可选)管理脚本 复制脚本 复制名称与重命名脚本 移动脚本/脚本目录 导出导入脚本 查看脚本引用 删除脚本 解锁脚本 转移脚本责任人 批量解锁 父主题: 脚本开发
User”,且不可被删除;MRS普通人机用户,可以被删除)。 若为其他报错信息,请根据具体报错和日志信息处理。 查看任务运行日志:在用户同步任务页面,找到需要查看日志的任务,对应任务操作栏中的“详情”,即可查看运行日志。当前最多展示20条日志记录。 运行失败可通过日志排查失败原因,问题修正后尝试重新运
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则 定义识别规则分组 发现敏感数据 查看敏感数据分布 管控敏感数据 父主题: 数据安全
DLI数据源 cluster_id 是 String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name
DLI数据源 cluster_id 是 String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name
即可以Excel文件的形式导出API。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 新空间导入数据 在DataArts Studio控制台首页,选择
示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。 图11 查看导入结果 父主题: 管理中心
当前IAM用户需要配置DataArts Studio工作空间的角色成员,且该空间角色成员需要拥有数据开发、管理中心服务的类管理员或开发者权限,用于查看、创建与操作数据连接、数据集成任务,角色的权限说明请参见权限列表。 配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索(DLI)
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
主机连接:建立主机数据连接中创建的连接。 图3 编辑Python语句 单击“保存”,并提交版本。 单击“运行”执行Python语句。 查看脚本运行结果。 图4 查看脚本运行结果 在作业中引用Python脚本 创建一个作业。 选择Python节点,并配置节点属性。 选择已创建好的Python
API管理”页面,在API列表操作列中,单击API名称进入API详情页面。 在API详情页面,单击“版本管理”,可查看当前保存的版本记录(最多保留最近10条)。 您可以查看对应版本API的详细内容,也可以删除或发布对应版本。当勾选两个版本时,您也可以通过“版本对比”,对比两个版本之间的差异情况。
步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid authentication怎么办?
在脚本目录中,双击脚本名称,进入脚本开发页面。 在页面右侧单击“版本”,查看版本提交记录,勾选需要对比的版本,单击“版本对比”。 图3 对比版本 单击“版本对比”后,将会打开新窗口,左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看,右上角有上一个不同和下一个不同两个按钮,可以直接跳到上一个或者下一个修改的地方。
a Client节点上右键查看日志,可以发现MRS Hive SQL节点返回的二维数组[["2"]]已被清洗为2。 您可以将Kafka Client节点中的发送数据定义为#{Job.getNodeOutput("count95")},然后作业运行后查看Kafka Client节点日志,则可以验证MRS