检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中“X”为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 登录安装Flume客户端节点,切换到客户端安装目录,执行以下命令修改文件: vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存
COMPLETED 登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode(主)”对应的链接,打开HDFS WebUI界面。 图7 HDFS服务概述 选择“Utilities > Browse the file system”,观
Base和Yarn。 若为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。 若为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
String 参数解释: 作业类型。 约束限制: 不涉及 取值范围: MapReduce SparkSubmit SparkPython:该类型作业将转换为SparkSubmit类型提交,MRS控制台界面的作业类型展示为SparkSubmit,通过接口查询作业列表信息时作业类型请选择SparkSubmit。
component client is installed successfully 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
使用如下命令覆盖安装: cd curl-x.x.x ./configure make make install 使用如下命令更新curl的动态链接库: ldconfig 安装成功后,重新登录节点环境,使用如下命令查看curl版本是否更新成功: curl --version 获取JobHistory中所有应用信息:
登录FusionInsight Manager界面,单击“集群 > 服务 > Spark2x”。 在服务概览页面单击Spark WebUI后的链接地址,可进入History Server页面。 单击待查看的App ID,您可以查看Spark Streaming作业的状态。 图5 查看Spark
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。
U使用率”显示正常(有数值),若满足执行9。若不满足执行下一步。 远程登录备Master节点,详情请参见登录MRS集群节点。 执行以下命令切换为omm用户。 su - omm 执行以下命令启动Agent。 sh /opt/Bigdata/nodeagent/bin/start-agent
视图联表查询时,需要同时给两者授予select权限。 不支持GaussDB和HetuEngine数据源列脱敏。 HetuEngine服务在切换权限控制类型时,需要重启整个HetuEngine服务,包括HSConsole页面上正在运行的HetuEngine计算实例。 HetuEngine基于Ranger权限管控
partition_spec] SET FILEFORMAT file_format; 该操作仅会改变表或分区的元数据,对存量数据文件的文件类型变更,SQL层面无法操作,只能在外部进行操作。 支持的文件格式包括:AVRO、PARQUET、ORC、RCFILE、TEXTFILE和SEQUENCEFILE。
出现只有主键字段有值, 其他业务字段都是null的情况。 场景二: 在数据库单条数据大小超过8k(包括8k)场景下,update事件只包含变更字段,此时Hudi数据中会出现部分字段的值为__debezium_unavailable_value的情况。 相关命令如下,其中: 查询PostgreSQL表复制标识的命令为:
port”(9871)。 参考如下链接,创建目录。 http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令
port”(9871)。 参考如下链接,创建目录。 http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
使用如下命令覆盖安装: cd curl-x.x.x ./configure make make install 使用如下命令更新curl的动态链接库: ldconfig 安装成功后,重新登录节点环境,使用如下命令查看curl版本是否更新成功: curl --version 获取JobHistory中所有应用信息:
xclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
图2 HDFS服务配置 参考如下链接,创建目录。 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图3所示。 图3 创建目录样例命令
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全,或者系统管理员需要对Hive进行重大操作(如升级或迁移等),需要对Hive数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight