Allen/DEll R720 服务器安装ESXi记录

Created Mon, 11 Mar 2024 17:24:11 +0800 Modified Mon, 11 Mar 2024 20:00:46 +0800
3020 Words

机缘巧合获得了一台物理服务器，安装好ESXi方便以后进行测试。

DEll R720 服务器安装ESXi记录

  • 因为想做一些存储性能相关的测试，使用个人PC上启动VMware WorkStation就很难模拟了。
  • 如果要使用分离部署K8s进行学习，需要开启的虚拟机数量比较多，个人PC性能已经不足了。
  • 在此万分感谢一位大佬朋友，因为某些原因不再需要服务器。就让我捡皮夹，免费得到了一台。
  • Dell R720 服务器手册官网下载地址

物理硬件设备配置

  • 如果你没有朋友能送你一台服务器的话，万能的淘宝也行。机房淘汰的二手服务器，两三千块就可以搞到。主要问题是家里有没有地方放，和能不能接受启动后的噪音。
  1. 登陆服务器带外
    • 机器拿到手后，接通电源。如果硬件没啥大问题，等上三五分钟，前面板的LCD就会开始显示一些信息。参考用户手册->关于系统->LCD面板功能部件章节。可以直接看到带外iDRAC IP和子网掩码信息。
    • 知道带外IP后找一根网线，将带外网口跟个人电脑直连。带外网口位置请参考用户手册->关于系统->背面板部件和指示灯章节。
    • 因为DEll R720 是2012年上市的服务器，适配的SSL证书版本非常古老，当前主流的windows系统已经不再兼容，尝试各种方式无解，浏览器一直报SSL证书错误。
    • 直接在个人PC上安装一个win7版本的虚拟机，建议直接用VMware Workstation安装，因为后续还能通过这个软件直接访问ESXi里的虚拟机，并且进行一些导入导出操作，很方便。安装步骤不在这里赘述了。
    • DELL服务器默认带外IP地址是192.168.0.120， 默认登陆用户名密码root / calvin。如果不行，那就只能接一个VGA显示器，键盘鼠标。进去重置密码了。
      iDRAC登陆界面
  2. 进入iDRAC检查服务器硬件
    • 使用win7系统里的IE浏览器直接访问https://192.168.0.120
    • 如果服务器带娃正常，就能正常登陆，然后进入管理界面。这时候如果系统没有起来，服务器运行状态中各个组件图标可能是灰色的，可以先不管。
      iDRAC管理主界面
  3. 设置硬盘RAID模式
    • 参考文章-Dell R720系列做raid步骤（raid0，raid1,raid5和raid10）
    • 请确保服务器正面或者背面硬盘插槽上至少有一块硬盘。
    • 选择虚拟控制台，建议在这之前先安装好java7，因为后续进行系统iso挂载需要用到。
    • 机器启动后通过硬件自检后，根据提示键入Ctrl + R 进入raid界面。
      ctrl_R
    • Ctrl + N 或Ctrl + P进行菜单栏切换。切换到VD Mgmt页面
      VD_Mgmt
    • 选择第一行按F2，进行新建VD操作。我这里因为都是测试使用，就全部用RAID 0。请结合自身实际情况配置RAID策略。
    • 全部配置结束后，按ESC后，在虚拟控制台上方选择宏->Ctl-Alt-Del重启机器。
  4. 将1号网口接到家庭路由器后面。

安装并初始化ESXi

  1. 挂载iso镜像
    • 将安装iso文件挂载给win7 虚拟机，然后在iDRAC虚拟控制台中选择虚拟介质->连接虚拟介质->映射 CD\DVD。
    • 如果之前没安装JAVA，会报错挂载失败。所以请选择以JAVA模式启动虚拟控制台。
      iDRAC映射虚拟介质
  2. 安装ESXi
    • 启动后先按F11进入Boot界面，设置启动方式为虚拟光驱模式，然后启动系统。
    • 接下来就是无脑根据提示各种同意，根据提示设置密码，请务必记好密码，这个密码无法忘记后重置。
    • ESXi会自动识别那个已经联网的网口，并自动根据DHCP配置一个管理IP
  3. 等待全部加载完成后，虚拟管理台会显示ESXi管理界面登陆地址。
    ESXi登陆界面

配置虚拟机

  1. 上传iso镜像，创建虚拟机
    • 登陆ESXi管理界面，在左侧选择存储->datastore1，这个是装机完后默认的存储池。选择数据存储浏览器，上传一个标准的系统镜像。我这里上传的是一个debian12的iso。
      upload_iso
    • 在左侧选择虚拟机，点击创建/注册虚拟机->创建新虚拟机,填写选择名称和系统信息。在自定义设置中有几个注意的地方。
      1. 硬盘配置默认是厚制备，建议切换到精简制备。否则空间消耗非常快。
      2. 请在CD/DVD 驱动器选择刚刚上传的iso镜像。
        create_VM
  2. 后续就是启动虚拟机，然后进行系统安装了。
    • 这里就可以用VMware Workstation进行管理，打开后选择文件->连接服务器。这里就可以直接看到ESXi的一些基本信息，然后也可以直接登录里面的虚拟机。
    • 因为ESXi没有接入vSphere，想要实现虚拟机镜像或者克隆有点麻烦。具体其他办法请自行google。
    • 我这里使用的办法是在ESXi上安装完一个系统后，通过VM Workstation进行下载，下载完成后选择导出为OVF，后续 新建虚拟机就直接选择从OVF导入即可。
      VM_WS访问ESXi

配置frp内网穿透

  • 为了能通过公网访问家里服务器的目的，咨询了一下网络方面大佬，建议是通过内网穿透实现。

  1. 下载frp

    • frp github 地址
    • 在右侧Releases处直接选择最新版本，选择linux_amd64包下载。

  2. 在公网虚拟机启动frps

    • 将压缩包传到有公网IP的一台服务器上，我是之前已经在阿里云申请了一台云主机。
    • 解压压缩包，直接以默认配置启动frps服务器，请确保云主机已经放行7000端口访问。
    # frps.toml
bindPort = 7000

# start frps
./frps -c ./frps.toml
    • 启动日志
    2024/03/11 17:16:39 [I] [root.go:105] frps uses config file: frps.toml
2024/03/11 17:16:39 [I] [service.go:225] frps tcp listen on 0.0.0.0:7000
2024/03/11 17:16:39 [I] [root.go:114] frps started successfully

  3. 在ESXi上虚拟机内启动frpc

    • 将压缩包上传到内网虚拟机，解压后修改frpc.toml配置文件。请将serverAddr替换为公网服务器的IP地址。
    # frpc.toml
serverAddr = "x.x.x.x"
serverPort = 7000

[[proxies]]
name = "ssh"
type = "tcp"
localIP = "127.0.0.1"
localPort = 22
remotePort = 6000
    • 启动frpc服务
    ./frpc -c ./frpc.toml
    • 如果正常启动，就会看到日志显示已经跟frps简历连接
    • 启动日志
    # frpc 日志
2024/03/11 17:16:51 [I] [root.go:142] start frpc service for config file [frpc.toml]
2024/03/11 17:16:51 [I] [service.go:287] try to connect to server...
2024/03/11 17:16:51 [I] [service.go:279] [dc22597dbdc353b8] login to server success, get run id [dc22597dbdc353b8]
2024/03/11 17:16:51 [I] [proxy_manager.go:173] [dc22597dbdc353b8] proxy added: [test-tcp]
2024/03/11 17:16:51 [I] [control.go:170] [dc22597dbdc353b8] [test-tcp] start proxy success
# frps 日志
2024/03/11 17:16:51 [I] [service.go:563] [dc22597dbdc353b8] client login info: ip [x.x.x.x:12345] version [0.54.0] hostname [] os [linux] arch [amd64]
2024/03/11 17:16:51 [I] [tcp.go:82] [dc22597dbdc353b8] [test-tcp] tcp proxy listen port [6000]
2024/03/11 17:16:51 [I] [control.go:401] [dc22597dbdc353b8] new proxy [test-tcp] type [tcp] success
    • 测试直接ssh连接云主机的6000端口，正常情况应该会发现登陆到了ESXi中的虚拟机。
    • 后续可以通过nohup或者supervisor托管。实现后台运行。

服务器内存异常问题处理

  1. 启动后发现内存异常
    • 这次收到服务器后，第一次启动服务器后，在带外iDRAC上看到内存只有64GB，但是开盖后发现实际插了4x32GB的内存，位置分别是A1,A2,B1,B2。
    • 官方内存插入建议参考用户手册->安装系统组件->系统内存->内存配置示例章节。
  2. 交换内存，并且修改内存配置定位问题
    • 先尝试对A1 <-> A2和B1 <-> B2，进行对调，然后重启机器，发现还是64G。
    • 尝试将内存模式从高级ECC修改为内存备用模式，重启后发现四条内存都能识别，但是容量只有96GB。
    • bios启动界面能明显看到B1 slot有内存报错。
    • 再次交换A1 <-> B1后重启，发现报错还是B1 slot，定位问题是主板内存slot异常，不是内存条问题。
  3. 规避故障。
    • 参考资料:T630 B1插槽坏了
    • 将内存更换到A2 A3 B2 B3这一组slot，并且在bios中将内存模式修改回高级ECC,启动后显示内存128G，符合预期。