检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Timeout=300:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位s),避免超时导致失败。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议
invalid,如何处理? 问题描述 使用python调用执行脚本的api报错:The request parameter invalid。 调用执行脚本接口。 查看日志: 报错:Content type 'application/octet-stream' not supported 可能原因 目前系
数据产品的结算系统搭建非常关键,建立合理的利益分配机制,必要时考虑分销路线,有利于将数据资产收入最大化。需要注意的是,由于数据可以无限复制,具有弱排他性,所以市场的参与者需要从一开始就建立营销体系以及品牌意识,为下一阶段的残酷竞争做好相应准备。 图2 形成无形资产收入 第三步:形成存量资产
接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内
线状态。 可以查看基线预警的数据。支持查看今日预警的基线实例数量。当预测到基线上任务无法在基线承诺时间内完成时,将触发基线预警。 可以查看出错事件的数据。支持查看今日出错的事件数量。基线监控范围内的任务,即影响基线数据产出的任务执行出错将会产生出错事件。 可以查看变慢事件的数据。
csv”,将后文提供的样例数据复制粘贴到CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档中复制样例数据,单
status is set to cancel.”。 解决方案 依赖的作业有失败的,在作业实例监控的状态为“已取消”右侧有个问号,单击该问号可以查看依赖作业的失败实例。 父主题: 数据开发
数据开发中的所有脚本和作业目录将由于无权限而置灰,具体影响包括:不能新建、编辑、查看、删除、导入导出目录下的作业或脚本,但是新建目录、作业关联脚本、选择依赖作业、配置全部作业告警、查看操作历史、备份作业、监控作业等操作不受限制。 当工作空间内已配置数据服务的API目录权限策略时,对于非授权对象的普通用户(即非DAYU
enabled(是否打开CBO优化策略) dli.sql.cbo.joinReorder.enabled(开启CBO优化时,是否允许重新调整join的顺序) dli.sql.multiLevelDir.enabled(OBS表的指定目录或OBS表分区表的分区目录下有子目录时,是否查询子目录的内容;默认不查询)
户的VPC网段,因此不占用用户账户的VPC网段。 查看方式: 登录DataArts Studio控制台,进入实例,单击“资源管理”进入资源管理页面,在“实时资源管理”中单击指定资源组的下拉框,查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程
job [XXX] is not running or pause。 原因分析 该问题是由于上游依赖作业不在运行状态而造成。 解决方案 查看上游依赖作业,如果上游依赖的作业不在运行状态中,将这些作业重新执行调度即可。 父主题: 数据开发
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover>
单击“确定”。 终端订阅配置完成后,您可以在通知的“操作”列进行如下操作。 单击“请求订阅”,打开“请求订阅”页面,订阅状态为“未确认”,单击“确定”,确认订阅后,订阅状态为“已确认”。 单击“删除”,打开“删除订阅”页面,选择“确定”,删除通知。 终端订阅管理页面支持批量删除和批量请求订阅,不支持编辑。
拥有生产环境的作业及脚本开发的所有权限。 开发环境:所有操作 生产环境:只读操作 部署:增加了打包、查看发布项、查看发布项列表、查看发布包内容 环境信息配置:只读操作 部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作 撤销发布:只有部署者和管理者可以操作 运维者
用Tab键作为分隔符请输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config
数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS,并创建MRS集群,为Hive SQL提供运行环境。
中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限
质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: 数据质量
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
在集群页面单击集群名称,进入基本信息页签。选择打开日志转储功能选择转储方式: 当选择OBS存储,当前工作空间中API的所有访问日志,会转储到工作空间指定的OBS桶。 当选择LTS存储,在选择转储方式前,需要在LTS服务中提前新建日志组和日志流,如何新建日志组和日志流请参考查看API访问日志。选择后当前