阿里云上做网站套模板怎么做,wordpress4.2.19 漏洞,工程造价信息月刊,h5网站要多久HeZaoCha-CSDN博客 序章—软工版 一、环境介绍1. VMware Workstation Pro2. CentOS3. Java4. Hadoop5. HBase6. MySQL7. Hive 二、系统安装1. 虚拟网络编辑器2. 操作系统安装 三、结尾 先说说哥们写这系列博客的原因#xff0c;本来学完咱也没想着再管部署这部分问题的说…HeZaoCha-CSDN博客 序章—软工版 一、环境介绍1. VMware Workstation Pro2. CentOS3. Java4. Hadoop5. HBase6. MySQL7. Hive 二、系统安装1. 虚拟网络编辑器2. 操作系统安装 三、结尾 先说说哥们写这系列博客的原因本来学完咱也没想着再管部署这部分问题的说毕竟
Linux 的发行版太多了有的可能不存在一些儿个问题而且系统配置上的不同也导致了这边不一定会存在有大家可能存在的问题但是刚好俺女朋友刚好这学期开了这门课由于各种各样的原因深思熟虑之下最终还是决定写这么几篇博客来帮助一下各位上课的伙伴们尽量不要让我帮各位兄弟姐妹干啦最近配环境配麻了。 这边咱先叠个甲不定期更新不一定适配所有人要是这些博客无法解决您的问题哥们大可以通过博客评论或者私信或者联系老师或者联系朋友联系到我我还是很乐意帮助大家解决问题的若是各位兄弟姐妹有认识我的觉得这些博客能够帮上一点小忙的然后小生又有幸认识到各位家人的能否有空请我喝一杯奶茶请我吃顿外卖在下感激不尽。
一、环境介绍
下面进入正文我们采用 VMware Workstation如果有使用 Mac 的朋友们可以参考一下macOS 安装Hadoop教程—单机—伪分布式配置_厦大数据库实验室博客 (xmu.edu.cn)这篇推文咱这就不过多赘述了办法总比困难多嘛如果各位家里有条件想要自定义装机的可以稍微参照一下这篇然后后续可以进行自定义选配当然咱这叠个甲要是不会弄的话还是不要头铁的好小生是过来人。下面会有大家可能用到的一些软件的一点点介绍如果大家觉得没用可以跳过有兴趣的朋友可以自己看一下。
1. VMware Workstation Pro
VMware 版本多少其实不是很影响我这边是 17大家上课应该是 15但差别是不大的17 可向下兼容15 不可向上兼容各位可以使用老师的安装包也可以使用小生下方的连接进行下载。 VMware 版本VMware® Workstation 17 Pro 下载链接这里的版本是指各位电脑本身的系统不是要安装的 CentOS 的系统(各位我说清楚了嘛不清楚可以再问问是吧)。 Windows 版Workstation 17 Pro for WindowsLinux 版Workstation 17 Pro for Linux 官网链接Download VMware Workstation Pro 2. CentOS
镜像本来想采用的是 CentOS—7—x86_64—Minimal—2009.iso后面发现老师选用的版本有图形化界面故不得不采用 CentOS—7—x86_64—Everything—2009.iso为了更加适配大家的学习故小生选择了后者。这俩大概的差别就是前者是最小化安装优点是整张碟占用空间小总占 1G缺点是需要自定义下载配置的地方太多图形化界面需要自己下载不能在安装系统的时候带上如果大家有兴趣可以去点这儿第一篇——大数据环境部署前置条件看看小生用该 Minimal 镜像配置的博客当然当年写的没那么全面希望大家多多包涵后者是全部都合在一起在安装的时候可以自定义选配缺点是整张碟太大了总占 9G。
当然这俩差别在各位的学习使用中我认为问题不大后续安装会进行一定的选择有兴趣的朋友们可以自行了解这里不展开但是 CentOS 7 生命周期快到了准备不维护了在 2024 年年中就会停止维护了不建议深入学习了当个跳板可以。
小生认为以后是 Ubuntu 的天下了但小生头铁偏爱 Debian有兴趣的朋友真的建议学一学以后真的没有人会在 Windows 进行开发了千万不要觉得学前端设计学的好就好了也不要觉得后端会写代码就好了小生还是希望大家多了解一些东西能力全面的人是任何公司都爱的。
别的不多说如果大家考研这点东西都不会复试的老师是不会让大家过的小生言尽于此衷心希望大家考研过过过 镜像选择CentOS—7—x86_64—Everything—2009.iso 下载链接 阿里源 CentOS—7—x86_64—Everything—2009.iso (aliyun.com)清华源CentOS—7—x86_64—Everything—2009.iso (tsinghua.edu.cn) 官网链接 阿里开源镜像站centos—7—isos—x86_64安装包下载_开源镜像站—阿里云 (aliyun.com) 清华开源镜像站Index of /centos/7/isos/x86_64/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 3. Java
jdk 这里采用甲骨文公司的 Java 8当然这个版本问题在我看来其实不会太影响想用 Java 11、Java 17、Java 21 在理论上也可以的但是建议各位为了后续的学习不出问题尽量选择 LTS(长期支持) 版短期支持版像18、19、20 虽然也不是不能用但毕竟维护时间太短了不建议大家使用当然各位肯定比我更清楚毕竟小生主 Python 开发Java 学的也不怎样这边我们选择下载的是 jdk—8u401—linux—x64.tar.gz没有太大的说法其实因为大家学的是 CentOS下载 jdk—8u401—linux—x64.rpm看起来会更省心一些还不用自己添加环境变量简直是省大事情插个眼要是小生时间足够就两个都会给大家写一下纯作了解。最后说一下不用太担心老师给的是 jdk—8u162—linux—x64.tar.gz这个会不会有问题之类的在我看来一点问题没有所以大家不用担心这个方法是通用的小生也会尽量给大家用通用的办法去写的所以大家不用担心当然如果要跟着小生下载的可以看看下面然后下载的时候需要注册一个甲骨文的账户嫌麻烦的话建议大家还是用老师的包。 Java 安装包选择jdk—8u401—linux—x64.tar.gz 下载链接Java Downloads | Oracle 中国 4. Hadoop
Hadoop 小生选用的是 hadoop—3.3.6 的版本在小生看来Hadoop 3以上的版本基本都没有太大的差别可能会有一点不同的地方但是总结大差不差有兴趣深入学习的可以点这儿Hadoop – Apache Hadoop 3.1.3找到老师发的 hadoop—3.1.3 的官方文档进行学习后续配置也会根据官方文档给出的配置文档范例进行配置如果是跟小生使用 3.3.6 的版本则可以点这儿Hadoop – Apache Hadoop 3.3.6找到官网文档如果还需要其他版本的文档可以点这儿Index of /docs (apache.org)找到。
Hadoop 的配置涉及到三种模式单机模式、伪分布模式、完全分布模式单机和伪分布模式只需要一台机器开一台或多台虚拟机即可实现而完全分布模式则是需要真实拥有多台机器进行连接其中小生认为伪分布模式与完全分布模式差别不算是特别大这里小生推荐大家跟着老师参考这篇Hadoop安装教程—伪分布式配置—CentOS6.4/Hadoop2.6.0—厦大数据库实验室博客 (xmu.edu.cn)博客进行学习当然小生并不是说照抄就可以了这篇博客只有参考作用喜欢自定义的有兴趣的同学可以自行深入摸索。 Hadoop 安装包选择hadoop—3.3.6.tar.gz 下载链接hadoop—3.3.6.tar.gz 5. HBase
HBase 咱这选择的是 hbase—2.4.17课程时间不长所以咱这也不知道各位选取的是哪一个版本但理论上是 2.1.x ~ 2.4.x 的版本问题不大大概的都差不多但是 HBase 依赖于 Hadoop 所以会有一定的版本对应关系下面是一些版本的对应关系但不一定涵盖完全所以如果各位有想法深入了解可以点这儿Apache HBase ™ Reference Guide查看官方文档进行学习。 ✓代表经过测试功能齐全 ✕已知功能不全或者存在CVE因此我们在较新的次要版本中放弃支持 — 不适配 HBase—2.0.xHBase—2.1.xHBase—2.2.xHBase—2.3.xHBase—2.4.xHBase—2.5.xHadoop—3.1.3✕✓✓✓✓✕Hadoop—3.3.6———✓✓✓
根据上表我们就很清楚我们会用到的版本依赖关系。当然HBase 不止依赖 Hadoop还会有 jdk 的版本依赖请看下表 当然大家所使用的 jdk8 肯定是没有问题的所以放心好了这个当做了解而已。下面附上链接当然用老师的也可以作为探索我就不用老师的版本了其实都一样的不用担心兼容问题有问题私信小生小生再帮大家解决。 HBase 安装包选择hbase-2.4.17-bin.tar.gz 下载链接hbase-2.4.17-bin.tar.gz 6. MySQL
本来应该是用不到 Mysql 的但是由于 Hive 只是一个架构需要建设在实体的数据库上边而 HBase 各位同学后续也不会真正接触所以这边需要将 Hive 架设到 MySQL 数据库上。这里选择安装的是 MySQL 8各位同学如果想安装 MySQL 5 版的也可以参考 MySQL 8 的安装方式。MySQL 文档众多这里就不一一列举了想要查看的可以点击MySQL :: MySQL Documentation查看官方文档。
MySQL 没有特别的依赖说明安装方式也很简单鉴于大家在先前的学习中已经有过接触这里也不过多赘述。为了大家的方便我们就不选择在线安装的方式了我们直接下载所有的离线包进行安装为了简便一些我们选择全部组件都进行安装如果有想要了解各个组件的作用进行适当的选装的朋友们可以自行查阅官方文档内容进行选择。 MySQL 安装包选择mysql-8.2.0-1.el7.x86_64.rpm-bundle.tar 下载链接mysql-8.2.0-1.el7 .x86_64.rpm-bundle.tar 7. Hive
Hive 这边我选用的是 Hive-3.1.3Hive 与 Hadoop 也有一定的依赖关系各位可以通过下载并解压缩包来安装Hive的稳定版本也可以下载源代码并使用 Maven0.13版及更高版本或 Ant0.12版及更早版本构建Hive鉴于大家并不是特别需要懂源码编译安装所以这边选择稳定版本的安装就可以如果有想深入了解安装配置等的可以选择点这儿Home - Apache Hive - Apache Software Foundation查看 Hive 的文档。
以下是一定的依赖关系说明 Java 版本选择Java 1.7首选 注意Hive 1.2版本以上需要Java 1.7或更高版本。Hive版本0.14到1.1可以与Java 1.6兼容但更喜欢1.7。强烈建议用户开始迁移到Java 1.8参见HIVE-8607。Hadoop 版本选择Hadoop 2.x首选1.x不受Hive 2.0.0以上版本支持。 Hive 0.13之前的版本也支持Hadoop 0.20.x、0.23.x。Hive通常用于生产Linux和Windows环境。Mac是一种常用的开发环境。本文档中的说明适用于Linux和Mac。在Windows上使用它需要稍微不同的步骤。 Hive 3.0.0Hive 3.1.xHive 4.0.0-alpha-1Hive release 4.0.0-alpha-2Hadoop 3.x.y✓✓✓✕
上面的依赖关系仅仅是列出了有限的一部分邮箱深入了解的可以自行学习这里就不一一列举了。 Hive 安装包选择apache-hive-3.1.3-bin.tar.gz 下载链接apache-hive-3.1.3-bin.tar.gz 二、系统安装
安装 VMware 的部分在下就不在这里过多赘述了大家根据提示下载安装好即可当然安装完后也可能会有其他问题在这部分我尽量对目前我已知的问题进行一些说明希望能帮助大家解决一些简单的配置上的问题。
1. 虚拟网络编辑器
用于 Workstation Pro 提供桥接模式网络连接、网络地址转换 (NAT)、仅主机模式网络连接和自定义网络连接选项用于为虚拟机配置虚拟网络连接。在安装 Workstation Pro 时已在主机系统中安装用于所有网络连接配置的软件想深入了解的可以到VMware Workstation Pro 文档查看官方文档。
提到这个部件是因为在 Workstation Pro 的网络配置中会有三种模式桥接模式、NAT模式和仅主机模式这三种模式都有一定的区别他们将会在系统创建两个以太网适配器如下图所示如果大家计算机网络还有印象应该知道以太网适配器是计算机中的硬件设备也称为网络接口卡Network Interface CardNIC。它的主要作用是使计算机能够连接到局域网LAN或广域网WAN并通过以太网协议进行通信。简单来说如果没有它那么计算机之间将不能进行通信就是断网了。 其中我们可能会用到的是桥接模式和NAT模式通过下表大家可以了解一下它们的作用
选项说明桥接模式通过使用主机系统上的网络适配器将虚拟机连接到网络。虚拟机在网络中具有唯一标识与主机系统相分离且与主机系统无关。NAT虚拟机和主机系统共享一个网络标识此标识在外部网络中不可见。当虚拟机发送请求以访问网络资源时它会充当网络资源就像请求来自主机系统一样。
这个我们不详细说明大家稍微有点了解即可有兴趣的同学可以自行学习。
写这么多只是希望大家能确保这两个以太网适配器存在且可用否则将无法进行后续的学习和操作
打开 VMware Workstation请大家点击 编辑(E) -- 虚拟网络编辑器(N) 打开后请大家点击 更改设置(C) 然后可以看见出现了三种网络模式的选项我们需要分别点击 VMnet1 和 VMnet8并且确保下方红色框中的内容已被勾选这样可以确保上述提到的两个以太网适配器存在且可用。
2. 操作系统安装
这部分将会给大家讲解操作系统安装的一些细节纯属个人见解只能保证大家能顺利渡过这门课程不能保证大家工作生活自定义的时候不会产生冲突这里先叠个甲。 打开 VMware Workstation点击 创建新的虚拟机或者使用快捷键 Ctrl N 为了保证我们见到的东西都差不多所以请大家选择 自定义(高级)(C) -- 下一步(N)选择 典型(推荐)(T) 会让大家省很多事情但是为了保证大家以后售后简单一些这边还是选择自定义安装。 硬件的兼容性大家可以不用管无论是 15 还是 17 都不重要反正虚拟机只在你的电脑上运行又不用拿到别人那里所以没有关系的如果需要移动虚拟机到其他电脑上可以根据两台电脑中 VMware Workstation 的版本选择较低版本的进行兼容左边的 兼容产品 栏会显示可兼容的版本号注意选择较低的版本进行兼容。 接下来各位的各种出现的顺序不能保证我只能根据我这边的顺序给大家写大家如果发现图对不上可以往下面翻一翻会有一样的如果没有又拿不定主意的可以私信我或者私信老师或者查找搜索引擎寻找一定的办法。这里需要大家选择稍后安装操作系统(S)如果大家打开了变成驱动光盘了请选择第一个安装程序光盘(D)也不是说打开了不能选择其他两种方式安装大家自己看着来就好然后就可以点击下一步(N)。 到这里我们需要选择操作系统CentOS 7 是 Linux 的其中一个发行版也就是俗称的分支所以这里我们选择 Linux(L)在版本上我们选择是 CentOS 7 64 位现在的个人 PC 机器的芯片架构一般都是 X86_64所以我们选择的是 64 位的操作系统具体可以到系统配置中查看自己的 CPU 是多少位的现在已经很少见 32 位的了最后点击 下一步(N)。 这部分是为你的虚拟机命名以及选择虚拟机文件存储在计算机中的位置名称并不是虚拟机里面的主机名而是一个标记的名称只要自己能够认出来即可再次提醒不是虚拟机的主机名只是一个普通的名称而已都选择好之后就可以点击下一步(N)。 这部分需要选择分配给虚拟机的处理器个数以及每个处理器中的内核个数这部分我想了好一会还是决定给大家讲清楚一些这里我们尽量简单一些只关注最后的数字也就是处理器的内核总数计算方式就是 处理器的数量 × 每个处理器的内核数量 处理器的内核总数 处理器的数量 × 每个处理器的内核数量 处理器的内核总数 处理器的数量×每个处理器的内核数量处理器的内核总数这里各位在安装的时候尽量保证处理器的内核总数不要超过 本机 C P U 内核总数的 2 3 本机 CPU 内核总数的 \frac{2}{3} 本机CPU内核总数的32即可这里以Windows 11 为例使用快捷键 Win i 打开控制面板找到系统 -- 系统信息在设备规格中我们可以找到处理器型号 然后需要复制处理器的型号并且上网处理器的信息这里可以清楚找到 CPU 的内核总数 然后各位只要大概设置一下数量尽量不要超出 本机 C P U 内核总数的 2 3 本机 CPU 内核总数的 \frac{2}{3} 本机CPU内核总数的32这样减少对本机运行时产生的影响因为大家并不需要学习并使用所有大数据的组件所以大概估算下来内核大概 3~4 个即可流畅运行本课程所有内容当然不是说 1 个不行1 个核心也可以时间上慢一点而已不会说产生什么问题所以大家可以完全放心选配完后请大家点击下一步(N) 这部分大家需要选择分配给虚拟机的内存VMware 会根据大家的电脑配置给大家推荐内存量请大家不要超过最大推荐的内存量否则将会影响本机的运行选择上建议大家尽量 1 个内核分配 1G这样能更好的保证运行的流畅度当然如果大家不安装图形化界面则可以 2 个内核分配 1G 内存当然以上纯属个人见解大家根据实际情况进行选配选配可以点击左侧红色框内的数字进行快速选择也可以在黄色方框输入内存值选配好后请点击下方蓝色方框进入下一步(N) 这部分涉及的是网络类型大家做的是单机模式也就是只需要一台虚拟机即可为了方便请大家选择 使用网络地址转换(NAT)(E)当然选择桥接火鹤仅主机不是不可以只是没那么方便后续可能在售后方面会有一定的问题存在如果大家使用了桥接模式遇到了一定的问题也可以私信我、私信老师或者上网查询仅主机模式出问题的家人们请不要找到小生小生对仅主机模式网络无能为力建议多烦烦老师谢谢各位选配好后即可点击下一步(N)进入下一个配置的选择。 这部分是I/O控制器的选择默认就好不多说了推荐什么选什么这个不会有太大的影响当然大家对客制化感兴趣也可以深入了解选好后请点击下一步(N)。 这部分是磁盘类型的选择我的建议是推荐就很好也不会太大的影响当然各位有兴趣对硬件进行了解也是可以去查询然后再进行安装选配的但是毕竟是虚拟机跟真正装机天差地别所以没必要现在纠结这个选好后请各位点击下一步(N) 这部分我们需要选择已有磁盘或者创建一个新的磁盘不建议使用物理磁盘会有一定的风险如果需要使用现有磁盘则需要选择已有的虚拟机磁盘文件进行导入但是我们是新建的虚拟机所以我们选择创建新虚拟磁盘选择好后请各位点击下一步(N)。 这部分我们需要为虚拟机分配存储大小请各位根据需要使用的软件大小进行调整一般建议是 20G如果需要完成本课程在我看来大概需要 30~40G左右的内存容量大家可以适当进行调整不够再加也是可以的不一定非得刚开始就固定好然后根据提示如果大家需要移动虚拟机则请大家尽量选择拆分成多个文件如果不需要移动虚拟机到其他电脑上使用则请大家尽量选择存储为单个文件可以提升一定的性能如果大家还记得操作系统一些知识应该就很好解释这一部分。 这部分需要我们指定磁盘文件存储到哪一个虚拟磁盘中该虚拟磁盘在 VMware Workstation 中是 .vmdk 的形式进行存储并且大家并不是特别熟悉所以这里我们选择默认即可然后点击下一步(N) 看到下图的界面说明我们的虚拟机选配已经完成了大家根据自己电脑进行适当的选配即可不一定要抄作业我的说法是没必要。最后我们还有一步还记得上面我们还没选择光盘映像吗这里我们需要点击自定义硬件(C)...在里面进行光盘映像文件的选择。 这里我们需要点击左边栏目中的新 CD/DVD (IDE)然后将设备状态中的启动时连接(O)进行勾选默认已经是勾选状态了因为我们需要通过该功能进行安装操作待后续安装完毕后我们可以将其关闭最后需要再连接板块中选择使用 ISO 映像文件(M): 并且点击浏览(B)...进行光盘映像的选择最后点击关闭即可。 这部分中的其他设备跟我上面那张图是有点区别的因为我把那几个我觉得没必要的东西给删掉了如果大家需要使用这几种虚拟设备请不要像我一样删了如果不太明白就请保留即可最后点击完成即可完成虚拟机的创建。 如果没有开创建完毕自动开启请在主页面手动点击开启虚拟机进行开启。 打开后会自动读取光盘映像然后会看见如下的界面可能大家显示的不一定有那么清楚因为 VMware 默认的是 BIOS 启动所以请大家尽量点击一下键盘 ↑ 键会有一点变化当然如果时间足够的话选择第二种启动方式也是可以的然后需要再键盘上按 Enter 键进入安装界面。 进入安装界面后需要选择系统语言这里我选择美式英文当然大家选择中文也是可以的但建议尽量选择英文因为英文会更合适系统一些中文可能会在某些时候产生乱码为避免问题的产生我采用的是美式英文选择好后点击下方蓝蓝的按钮continue进入下一步。 这部分需要配置的有点多这边我们先从网络和主机名开始请根据下图选择NETWORK HOST NAME 进入之后我们需要根据下图打开网卡的开关然后修改下面的主机名称当然主机名称也可以不改这个映像并不是特别大这里我改成了Hadoop跟课程贴合这个大家想改什么改什么没有讲究完成后即可点击完成配置不过这里插个眼需要大家记一下下面蓝色方框的东西最主要的是第一行的 IP Address这是虚拟机的 IP 地址待会配置网卡文件的时候会用上当然这个没有硬性要求到时候改个网关一样的 ip 也是一样的。 接下来我们点击 DATE TIME调整时区 可以看见有一幅世界地图比起韩国的世界地图我直呼内行如图点击标记地方只要上面红色框中 Region 改变成 Asia也就是亚洲City 改变成 Shanghai如果上面网卡设置一切正常的话这里的 Network Time 选项应该是 ON 的才对配置好后点击 Done 退出该设置。 接下来开始选配软件大家软件工程的朋友们应该对软件的了解稍微会深那么一点点的吧…开个玩笑嘿嘿点击 SOFTWARE SELECTION进入软件选配界面 接下来各位应该选择的是图形化界面这边建议选择下图的 GNOME Desktop 然后这边给出翻译右边的至少请大家勾选开发工具勾选GNOME应用程序要是全部勾选也可以看大家的需求来选择吧选择好后点击Done退出软件的选配 下面还需要选配最后一个 INSTALLATION DESTINATION进行分区的配置。 这个进去就可以直接点击 Done 退出了如果大家后续想自定义分区的话可以后面再进行配置这里我就不跟大家过多赘述了。 搞完这个应该就没有黄色的感叹号了然后就可以点击下面蓝色的按键Begin Installation开始安装了。 看下图我们先给 root 用户设置密码点击 ROOT PASSWORD 进入设置 输入密码并且确认密码正确然后就可以点击 Done 退出了 然后我们再点击 USER CREATION 创建一个新的普通用户 这里的用户名设置也没什么讲究其实用不用 hadoop 当做用户名都对后续操作没有影响因为这个并不是特定的哪怕是另外名字的账户也是可以进行实验的所以后面没必要再重新创建一个用户所以大家看着来就好这里我就设置一个我熟悉的用户名哈各位自己也整一个熟悉的就可以了然后下图红色方框和蓝色方框的建议大家勾选上sudo 这个指令还是很有用的密码登录也是虽然我们到时候也需要配置免密登录但是没密码的用户其实没那么安全我是不建议的当然头铁的兄弟们另算哈配置完后就可以点击 Done 退出了。 然后就是漫长的等待时间了等待安装完毕后即可点击下面的蓝色按钮 Restart进行系统重启即可。 重启之后会有一个授权认证需要点进去 然后勾选上下面的那个同意协议的方框然后就可以退出了 如果网络配置没有问题的话就会像下面一样显示 connected然后我们点击 FINISH CONFIGURATION完成配置即可。 然后系统将会出现登录界面如下图到这儿就和 Windows 差不多像了也说明我们安装完成了。
三、结尾
这一篇主要给软工的兄弟姐妹介绍一下本门课程需要的一些组件和下载的方式以及系统的安装可能大家已经安装好了也可能有些覆盖不到的地方也请大家多多包涵还是希望这篇文章能够帮助到大家一些地方的。如果大家学习过程中有什么问题可以一起交流能联系到我的话在下也很乐意为大家排忧解难。
