Основной частью аппаратного обеспечения сервера является контроллер, который представляет собой материнскую плату, с установленными компонентами: процессором, оперативной памятью, контроллером внешних и внутренних жёстких дисков. Он управляет сервером в целом и всеми его компонентами. Таких контроллеров может быть несколько. В таком случае из имеющихся контроллеров можно организовать отказоустойчивый кластер, который распределяет нагрузку между отдельными контроллерами, тем самым повышая быстродействие и обеспечивая надёжность системы в целом.
Другим важным компонентом сервера являются жёсткие диски, организованные в дисковые массивы (RAID). Такая организация позволяет использовать несколько жёстких дисков как одно логическое устройство и так же, в зависимости от архитектуры RAID-массива, обеспечивать надёжность и приходе одного или нескольких жёстких дисков из строя. Жёсткие диски соединяются с контроллером жёстких дисков через SCSI-интерфейс на прямую с помощью специального SCSI-кабеля и контроллера внешних жёстких дисков.
Жёсткие диски должны храниться в дисковых полках, которые в свою очередь должны находиться в серверных шкафах.
Для связи сервера с пользователями необходимо организовать локальную вычислительную сеть (ЛВС) или подключить сервер к имеющейся ЛВС. Так же можно организовать высокоскоростную линию для определённых важных пользователей, использую технологию Fibre Channel.
Необходимо, чтобы всё серверное оборудование было совместимо друг с другом