机箱大从外观结构上看，服务器的机箱一般比较大，有的虽然外观上看似与普通PC机差不多，实际上还是要大些，哪怕是入门级的PC服务器，比如说DELL PowerEdge 400SC入门级服务器（目前价格仅5808元）。对于一些中的专业服务器，机箱的差别就更大了，有的还是一个高高的柜子式的机柜，比如说IBM RS/6000系列的S80型号服务器。

当然，服务器的机箱大不是为了误导消费者，它有大的理由。一方面是由于服务器需要安装、连接的设备多，需占用较大空间，同时还要准备一些备用设备安置位，如磁带机、磁盘阵列、多PCI或PCI－X插卡等，也需要占用空间。服务器通常要与许多设备进行连接，如在服务器主板或专用板卡中要插上许多适配器卡，有的还要安装几个可热插拨的硬盘和电源（俗称“冗余电源”），一般还安装有供系统备份和恢复用的磁带机。

有的为了节省主板的空间，把部分比较集中的功能件用另外一块单独的板卡提供，如有的服务器就把所有PCI或PCI－X插槽集中在一块板中旋转在机箱外面单独一个盒子中，然后通过一条数据电缆与主板进行连接。当然这也是针对常见的综合类服务器而言，对于像刀片功能服务器，其主板也可能是不大的，这一点要注意，它并不是的。

服务器所在机房的布局一般是由千兆交换机到百兆交换机到机柜所在的交换机，一台服务器到路由器中间到底有多少个路由，也许只有机房的工程师才知道，正规的机房，是不允许客人进入主交换机房，也不允许打开别人的机柜，只允许参观公司所在的服务器机柜。