检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
“IP”地址。 记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。 以root用户登录主OMS节点,执行以下命令切换至omm用户。 sudo su - omm 执行以下命令,将客户端安装包复制到指定节点。 scp -p /tmp/MRS-client/MRS_Services_Client
普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
/home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS,无需再配置AK、SK和Endpoint。 OBS路径格式:obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3
取值范围: 0:包月。 1:包年。 默认取值: 不涉及 scale String 参数解释: 集群节点的变更状态(扩容/缩容/变更规格)。当该参数取值为空时,表示集群节点没有进行变更操作。(默认为英文,当X-Language请求头被设置为zh-cn时,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面(仅适用于MRS 3.x之前版本)。 一个队列只能绑定一个非default资源池。 默认资源标
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
”。 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。 AK信息 SK信息 1 obs://obs-demo-analysis-hwt4/input/
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 connector_id String 参数解释: 数据连接ID。 约束限制:
ka等服务。 客户端已安装,例如安装路径为:/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Ke
当HetuEngine计算实例处于重启或者滚动重启过程中,请勿对HetuEngine服务和HetuEngine WebUI界面的数据源进行变更操作,包括修改配置,重启等操作。 如果计算实例只有1个Coordinator或者Worker,请勿对计算实例进行滚动重启。 如果Worke
Base和Yarn。 若为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。 若为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
ert|analyze操作前需要单独对hdfs上的表目录赋予写权限。 当前对spark datasource表赋予Insert权限时,若表格式为:text|csv|json|parquet|orc,则不会修改表目录的权限。因此,对以上几种类型的datasource表赋予Inser
出现只有主键字段有值, 其他业务字段都是null的情况。 场景二: 在数据库单条数据大小超过8k(包括8k)场景下,update事件只包含变更字段,此时Hudi数据中会出现部分字段的值为__debezium_unavailable_value的情况。 相关命令如下,其中: 查询PostgreSQL表复制标识的命令为:
视图联表查询时,需要同时给两者授予select权限。 不支持GaussDB和HetuEngine数据源列脱敏。 HetuEngine服务在切换权限控制类型时,需要重启整个HetuEngine服务,包括HSConsole页面上正在运行的HetuEngine计算实例。 HetuEngine基于Ranger权限管控
<checkPointDir>指应用程序结果备份到HDFS的路径,自行指定即可,例如“/tmp”。 <brokers>指获取元数据的Kafka地址,格式为“Broker实例IP地址:Kafka连接端口”。 <topic>指读取Kafka上的topic名称。 <batchTime>指Stre
rt|analyze操作前需要单独对hdfs上的表目录赋予写权限。 当前对spark datasource表赋予Insert权限时,如果表格式为:text|csv|json|parquet|orc,则不会修改表目录的权限。因此,对以上几种类型的datasource表赋予Inser
String 参数解释: 资源计划的起始时间。格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制: