Начнем с того, что стандарты и нормы нужно просто знать. А еще лучше
понимать, иначе «инновациями» можно легко «развалить» нормально работающую
сеть. Примером тому бездумная замена маршрутизаторов на дешевые коммутаторы,
да еще 10/100, попытки преодолеть проблемы большого (физическими размерами)
домена коллизий путем установки добавочных хабов. Плюс к этому установка
необкатанного оборудования параллельно с глобальной сменой пользовательских
адресов и подключением новых абонентов. В итоге можно получить
катастрофический простой сети. Отсюда правило номер один: не понимаешь, как
работает, — соблюдай стандарты, они для того и созданы.
А теперь о надежности. Для начала определимся, что в данном случае
следует понимать под словом «надежность». Не углубляясь в статистику с ее
математическим аппаратом, возьмем за критерий время простоя крайней точки
сети (в часах) за определенный период времени (неделю). Возможно, количество
часов простоя сети в неделю кому-то покажется невероятно большим. Однако
отметим, что сеть «домашняя», а следовательно, некоммерческая, с
соответствующими требованиями к установке и возможностями оборудования.
Итак, будем считать, что сеть более или менее сносна, если простой менее 10
часов в неделю, хороша — если этот параметр меньше 5, и плоха — если он
больше 20. Прежде всего на отказоустойчивость влияют технические и
организационные факторы.
К техническим факторам относятся:
состояние кабелей;
активное оборудование;
программное обеспечение.
Под организационными факторами подразумеваются:
техническая поддержка;
обеспечение легальности коммуникаций.
Сразу отметим, что наша сеть строилась на собственные средства и,
следовательно, ни о каких значительных инвестициях речь не идет. Как
следствие — выбор недорогого оборудования и кабельного хозяйства, что также
оказало существенное влияние непосредственно на архитектуру сети. Кроме
того, руководством к действию служило убеждение, что Ethernet может больше,
чем предусмотрено стандартами.
Какую топологию выбрать?
Топология — самое слабое звено домашней сети. И именно здесь очень важно
сделать правильный выбор.
Самая распространенная схема
Именно так сделано большинство «домашних сетей». И именно так делать
нельзя. Легко заметить, что в этом варианте отказ любого активного элемента
влечет, в свою очередь, отказ всех последующих узлов. Работать такая схема,
конечно, будет, но плохо. То питание в доме отключат, то обесточат одну из
фаз (как назло нужную), то пьяный электрик что-то замкнет, то провод
порвется, то хаб уведут, то у китайского изделия «крышу снесет», то водой
зальет, то гроза спалит, то разъем перестанет контачить — в общем, не
перечислить и не предусмотреть всех проблем. Вероятность каждой из них
небольшая, но их количество, да еще умноженное на десяток последовательных
узлов... Да, пользователю в конце такой сети не позавидуешь. Поэтому
планировать более правильную топологию необходимо сразу.
Схема для бедных
Если у вас нет денег, а сеть нужна — попробуйте такой вариант. «Лишних»
кабелей не так и много. И нет возможности сделать сразу 100 Мбит на
свитчах... Но лучше уж стабильные 10 Мбит на запредельных расстояниях и
приличных кабелях, чем постоянно отваливающаяся сеть, несмотря на кажущееся
соблюдение стандартов по длине. Думаю, что пять последовательных устройств —
это предел (в соответствии со стандартом допускается соединение четырех
последовательных последовательных устройств). Правда, в моей практике
встречалась сеть с большим количеством устройств, но это было сделано не от
хорошей жизни. Сеть работала, но количество отказов составляло (и составляет
до сих пор) около 25 часов в неделю. Разумеется, возможности преодолеть этот
барьер есть, но об этом чуть позже.
То, что можно и нужно делать сейчас
Не следует забывать, что появилось новое средство борьбы с большими
расстояниями. Это оптоволокно, на рисунке показанное зеленым цветом.
«Появилось» — слово не совсем точное, правильнее сказать — стало доступно по
цене. Конвертор TP-FO(ST) сейчас можно купить за 40 долл. (если напрячься),
само оптоволокно стоит от 0,85 долл. за метр (черырехжильное многомодовое
волокно саранского производства) и до 1,5 долл. за подвесной кабель
московского завода. К тому же можно найти обрезки по 200-300 метров за 70%
стоимости.
Сварка оптики постепенно превратилась в склейку (или соединение на
сплайсах) и сильно подешевела. Вполне реально обойтись 10 долл. за жилу или
даже сделать это самостоятельно. Разъем под склейку стоит 3,5 долл. В
результате можно получить надежную сеть. По моим прикидкам, время ее простоя
не превысит 5 часов в неделю. Плюс ко всему не будут проблемой 100 Мбит и
правильная архитектура. Можно разориться на коммутатор 4-го уровня или
приличный сервер. Обеспечить охраной и бесперебойным питанием одну точку
проще, чем несколько. Еще одним весьма существенным достоинством оптоволокна
является то, что подключенные к нему активные устройства не горят в грозу.
Таким образом, самый страшный враг «домашних сетей» будет повержен.
Итак, правильно выбранная топология способна очень серьезно влиять на
надежность. Но продолжим описание.
Провода и тросы
Кабельное хозяйство, бесспорно, самая главная составляющая
Еthernet-провайдинга. Существенными моментами являются сохранность кабеля,
его тип и способ его крепления. (Этот серьезный вопрос надеюсь подробно
рассмотреть в одном из следующих обзоров в качестве практического примера
развития темы — крепление к проволоке, к стойкам, на чердаке, сращивание
проволоки, кабелей, герметизация.) Надо отметить, что сохранность проводов
нас особенно не беспокоила: было всего две кражи за 2 года, и то на одном
доме. Это из нескольких десятков километров кабелей... Бомжам П296 не
интересен, витая пара и тонкий коаксиал — тоже,так как меди мало. Крыши и
чердаки обычно закрыты, кто попало не шляется.
Подвешивать кабели лучше на проволоке или тросе. Мне приходилось
использовать только проволоку (выбор обусловлен ее низкой ценой — 500-800
руб. бухта в 2-3 км). П296 и некоторые виды оптоволокна можно вешать на
расстояния протяженностью до 100 метров без троса.
Крепили профессионалы. Матерчатая (обязательно!)
изолента и мягкая медная проволока — все, что для этого нужно.
Разумеется, еще и умение
Такое крепление не пережмет кабель и вместе с тем надежно удержит почти
любую нагрузку. Конечно, правильнее использовать специальные зажимы, но они
стоят не менее 25-30 долл. В остальном — нельзя натягивать слишком сильно
или слишком слабо, нельзя допускать, чтобы кабель терся обо что-то твердое,
и т.д.
В общем, обычный набор разумных требований и коммуникации не будут
причинять хлопот. Согласно статистике у нас отказы кабелей составляли менее
10% отказов активного оборудования — во многом, конечно, благодаря П296. Его
почти невозможно проложить плохо. Даже неправильно повешенный на большой
пролет, он работает годами до выхода из строя. Коаксиальные же линии
пришлось постепенно демонтировать — по мере появления неполадок.
Для обеспечения последующей поддержки сетей их необходимо маркировать и
документировать. Это несложно и недорого. Черкнуть маркером по кабелю,
наклеить самоклейку... Нарисовать эскизик с описанием на треть листа...
Вложить в скоросшиватель... Если привыкнуть — совсем не сложно. Но как
спасает от огромных проблем в дальнейшем. Ситуаций, когда проще переделать,
чем исправить, встречается довольно много — и в программировании, и в сетях.
Маркировка и описания от этой беды спасают, а главное, не требуют
материальных затрат.
Как и куда ставить «железо»
Типичная картина. Просто, но, к сожалению, далеко не
везде применимо
Размещения активного оборудования, как выяснилось,оказывает самое
непосредственное влияние на надежность сети. Приведем несколько примеров.
Идиллическая картина установки хаба. Но так удается их ставить в
Екатеринбурге очень редко. Щитки слаботочки плохо защищены — любой пионер
может их открыть, и хаб сам просится в руки. Для иллюстрации антивандальной
установки приведем два полярных примера:
Две стороны одной медали... И сделано
одним и тем же человеком
Слева коробка на солидном техэтаже большого офисного здания, вход на
который худо-бедно охраняется. Такой «уголок» можно взять в аренду и даже
попробовать сдать госсвязьнадзору, если прижмет. Питание подведено через
отдельный предохранитель в щитке, хорошим 3-квадратным медным кабелем в
двойной изоляции. Заземление на шину отдельным проводом. Витая пара
разведена по шахте слаботочки... Если бы везде делали хотя бы так, но порой
красота и правильность идут во вред..
Справа хаб в панельной девятиэтажке. Такие щитки не защищены
отгороженными «загончиками», на них нет замков. Даже в слаботочку ставить
страшно, там пионеры не стесняются. А к счетчикам лезть все-таки
побаиваются. Замки на щитки ставить пробовали, но с замком оборудование
исчезает быстрее — таков российский менталитет. И техэтажа в таких домах, по
сути, нет.
В лифтовые ставить нельзя — запрещено, после пары скандалов пришлось
убирать. Ставить у клиента — еще хуже. Техподдержка должна (вернее, просто
обязана) иметь постоянный (в идеале круглосуточный) доступ к оборудованию.
Случаев, когда абонент, у которого стоит хаб, уезжает в отпуск (на
выходные), а хаб (репитер, роутер) сгорает (зависает, пропадает питание),
было очень много. Несколько устройств пришлось просто «вырезать» из сети и
ставить по новой. Отсюда второе правило: установка у клиента — только в
исключительном, самом крайнем случае.
Вообще, где только ни приходилось размещать хабы и роутеры. Встречаются
точки, где до хаба надо ползти несколько метров по стекловате. Есть закутки,
куда может проникнуть только худой и ловкий человек. Это исключения,
конечно. Но в наших местах забавной «архитектуры» хватает.
Хаб извлечен из пакета...
Хитрости при установке — хаб ставится без корпуса. И места меньше
занимает, и продать сложнее, а значит, и сохранность-надежность повышается.
Желательно еще маркировать (самое простое — отверткой центральный чип).
Тогда и шансы найти в случае чего появляются. В общем, лучше не по ГОСТу, а
так, чтоб не украли.
На заднем плане — самодельные грозозащиты. Если к ним еще и корпус найти,
совсем было бы хорошо. А так отдает кустарщиной. Можно заливать герметиком,
как некоторые московские самоделки, но мне больше нравится
ремонтопригодность. Да и схема, скопированная с АРС, придает некоторую
уверенность.
Качественное питание. Не только для администратора…
И наконец, третье правило — надежное питание. Это самый проблемный
вопрос. И все, вроде, понятно, но то на выключатель какой неудачно попадет,
то сторож неожиданно начнет отключать этаж (дом, квартал на ночь или на
день). Или помешает электрикам, хуже пожарникам — и нет питания, да еще и
скандал, если слишком много норм нарушено. Например, Боже упаси на
деревянную крышу вывести 220 В, да еще не в трубах или металлорукаве, а
прямо витой парой на скобках. Могут пришибить на месте — и будут правы.
Только 9-12 вольт, и с оглядкой. В общем, если можно сделать правильно — не
надо придумывать что-то свое.
Желательно также использовать УПСы. Ставить на каждый хаб/свитч АРС-200 —
слишком роскошно для домашней сети. Поэтому возникает желание наладить
выпуск самодельных устройств. Действительно, потребление хаба реальное —
всего 0,2-0,3 А по пяти вольтам. Значит, даже четырех пальчиковых элементов
(приличных) хватит на несколько часов. Китайские продаются на оптовке по
8-10 рублей, на полчаса-час хватит и их. Скорость переключения не критична,
восстанавливать обратно 220 В — не надо. Схема получается достаточно
простой; возможно, кто-то ее уже применяет.
Заземление — отдельный вопрос. Но, поскольку «нормального» заземления в
наших домах все равно нет, приходится занулять. Лучше делать это отдельным
цельным проводом. Разницы для витой пары (а точнее — грозозащиты) нет, ну а
коаксиала вообще лучше сторониться. Оплетку (экран) П296 мы заземляли обычно
с одной стороны, но и при заземлении с обеих сторон проблем не наблюдалось.
Вообще, на первый взгляд, и без этого можно работать. Но заземление —
первое, на что обращает внимание госсвязьнадзор, ? проверено на собственном
опыте. Так что заземлять (занулять) в любом случае надо.
Теперь немного о грозозащите. Она необходима — полностью не спасает, но
согласно статистике, экономит массу времени и денег.
В заключение иллюстрация, как не надо делать скрутки.
Не пей водицу.. тьфу!.. Не делай так, козленочком
станешь
От теории к практике
Абстрактно рассуждать о надежности пока слишком сложно. Поэтому вернемся
к к схеме нашей сети. Для удобства еще раз приведем рисунок.
Схема одной из частей реальной сети
Треугольниками обозначены места установки активного оборудования, в
основном хабов. Синие линии — магистрали П296. Скорость — 10 Мбит. Для
масштаба возьмем линию А2-А4 — около 500 метров. Три маршрутизатора делят
сеть на пять доменов коллизий, и этого уже недостаточно — для нормальной
работы требуется еще два (были в проекте).
Сеть подключена к Интернету в одной точке. Пусть это будет М5. С
загруженностью особых проблем нет, и коллизии еще в норме. Скорость 300-400
Кбит/с до шлюза в Интернет — реальность, да и до городского эксчейнджа не
хуже 30 Кбит/с. Но очевидно, что все, даже самые смелые нормы по надежности
опрокинуты. 12-15 последовательных устройств — даже странно, что ЭТО
работает.
Существуют ли способы заставить схему работать без прокладки
оптоволоконных магистралей или подключения к чьей-либо транспортной сети?
Думаю, да. К сожалению, это мне не удалось проверить на практике, но план
(готовность к апрелю этого года) изложу. Кстати, подобные проекты были
сделаны и для других частей сети. Например, линия, уходящая вверх рисунка,
предназначалась для резервного канала связи с другой большой сетью.
На схеме показаны тонкие красные линии — сеть в перспективе должна была
замкнуться в два-три кольца. Это должно было стать концом периода быстрого
территориального роста и переходом к борьбе за повышение качества связи.
Что представляют собой «кольца» технически? Это все тот же П296.
Повышение надежности основано не на резком качественном изменении
технологии, а на простом рассчете. Вероятность одновременного выхода из
строя обоих полуколец намного меньше (буду благодарен за рассчет, но, думаю,
разница будет на порядок). Что для этого требуется?
Коммутаторы с поддержкой STA (Spanning Tree Algorithm), безусловно,
удобны, но для «домашних сетей» это, мягко говоря, роскошь. Поэтому остается
вариант: РС-маршрутизатор и динамическая маршрутизация. Их в сети уже
достаточно, более того, в нужных местах практически подготовлены площадки
под установку недостающих. Конечно, придется распрощаться с 386-м под DOS
или 486sx25-м (но такого в нашей сети никогда и не было). Железо потребуется
помощнее, например 486dx4-100-й или даже Pentium. Это не разорит. С точки
зрения софта динамическая маршрутизация ничего, кроме дополнительного
демона, головы и прямых рук, не требует.
Такое вот решение «для бедных». Я довольно долго думал, что на деле
окажется надежнее: «правильная» звезда на оптике или кольцо на П296. Однако
все не так просто, как кажется. «Домашняя сеть» — не СКС. И создавать единый
центр можно только до определенного предела — просто из-за физических
размеров. Без оптики это вообще малореально, а с ней — обычно не более 4
пар, а значит, и не более 4 площадок, сведенных в центр. Поэтому на
приведенной сети все равно было бы не менее 3-4 промежуточных узлов.
Оценить, что менее вероятно, — отказ одной из 4 точек или одновременный
отказ одной из 15 точек на каждом из полуколец, я не берусь. Тем более что
оба метода не исключают, а лишь дополняют друг друга. Если бы показанная
сеть не была построена год назад, а проектировалась сейчас, сделали бы на
оптике и 100 мегабитных свитчах. А через два года, глядишь, кольца бы
замкнулись через китайские управляемые коммутаторы с поддержкой STA, VLAN и
прочих вкусностей, упавших в цене до 150 долл. Экономика, к сожалению,
диктует свои условия.
От стройки к софту
Сказать что-то плохое не могу ни о Linux, ни о BSD. Последняя доставляла
мне как пользователю несколько больше хлопот, но это руки и поддержка 3com
509 — кривые. Первый сервер сети стоит уже третий год: сменился винт и комп,
а системе — хоть бы хны. Работает — на одном Pentium почта, Web, firewall,
DNS, ftp. Отдельные маршрутизаторы живут уже почти 4 года — админ хвалил их,
говоря, что и в глаза не видел железо, только телнетом. Правда, почти все
маршрутизаторы — бренд: Acer, Intel, Compaq... Уж на что не люблю их как
настольный вариант, но надежность у них хорошая. Впрочем, есть и несколько
китайских — они ничуть не уступают, правда, только после толковой сборки.
Продолжим тему в следующем обзоре. Организационные вопросы — часто важнее
технических. Ведь очевидно, что имеющиеся сегодня на рынке сети с
продвинутой технологией оказываются загнанными на обочину организационной
безграмотностью. И наоборот, массовый вал тиражирования самого простого
решения захватывает рынок и территорию.