检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业配置完成后,单击“保存并运行”,回到作业管理界面,在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。
费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 按需计费方式购买数据集成资源组 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且
设置自定义项,以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。 *资产责任人 在下拉列表中选择维度所属的资产责任人,可以手动输入名字或直接选择已有的责任人。
发布”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 发布历史 在列表中,找到所需查看的时间限定,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间限定的发布历史和版本对比信息。 下线 在需要下线的时间限定右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
#reload(sys) #sys.setdefaultencoding('utf8') 重启python,通过sys.getdefaultencoding()查看默认编码,这时为'utf8'。 父主题: 数据开发
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块(例如管理中心),查看能否根据所配置的工作空间角色,正常进行业务操作。 父主题: 咨询与计费
S Manager的浮动IP。登录MRS集群Master节点请参见登录集群节点章节,如果登录的是非主Master节点无法查询,请切换到另一个Master节点查询。 手动填写IP时请根据场景和顺序填写,多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。 说明: CDM集群作为管理中心数据连接Agent时
设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”,对账作业创建完成。 查看对账作业。 单击对应的对账作业操作列中的运行链接,运行对账作业后,自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图所示。 结果分析 至此,完成了通过DataArts
目录ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询起始坐标, 即跳过前X条数据。 limit 否 Integer 查询条数限制。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来
Studio实例最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 查看当前配置,确认无误后单击“立即购买”。 单击“提交订单”,付款成功后等待实例创建成功,即可在首页看到已开通的实例。 图1 查看DataArts Studio实例 返回DataArts Studio控制台
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安
Studio实例最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 查看当前配置,确认无误后单击“立即购买”。 单击“提交订单”,付款成功后等待实例创建成功,即可在首页看到已开通的实例。 图1 查看DataArts Studio实例 返回DataArts Studio控制台
略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未发送消息,则job_agent作业中的Subjob节点被跳过,证明IF条件判断生效。 图5
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持细粒度认证。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 MRS Hive连接联通性测试约束如下: 仅当MRS Hive数据连接中的用户配置了代理权限后,才支持细粒度认证。
式、审核人、安全认证以及请求参数。 入口API算子的配置方法,详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的算子。普通API即已创建的数据API,编排API时您可以从API目录内拖拽一个普通API作为执行算子进行取数,并将请求参数或结果集作为变量传递下去。