Второй DPI для «Ростелекома». Dpi ростелеком


Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.

Выявляем и блокируем пакеты пассивного DPI

Поддельные пакеты, формируемые DPI, легко обнаружить анализатором трафика, например, Wireshark. Пробуем зайти на заблокированный сайт:Wireshark

Мы видим, что сначала приходит пакет от DPI, с HTTP-перенаправлением кодом 302, а затем настоящий ответ от сайта. Ответ от сайта расценивается как ретрансмиссия и отбрасывается операционной системой. Браузер переходит по ссылке, указанной в ответе DPI, и мы видим страницу блокировки.

Рассмотрим пакет от DPI подробнее:image

HTTP/1.1 302 Found Connection: close Location: http://warning.rt.ru/?id=17&st=0&dt=195.82.146.214&rs=http%3A%2F%2Frutracker.org%2F В ответе DPI не устанавливается флаг «Don't Fragment», и в поле Identification указано 1. Серверы в интернете обычно устанавливают бит «Don't Fragment», и пакеты без этого бита встречаются нечасто. Мы можем использовать это в качестве отличительной особенности пакетов от DPI, вместе с тем фактом, что такие пакеты всегда содержат HTTP-перенаправление кодом 302, и написать правило iptables, блокирующее их:# iptables -A FORWARD -p tcp --sport 80 -m u32 --u32 "0x4=0x10000 && 0x60=0x7761726e && 0x64=0x696e672e && 0x68=0x72742e72" -m comment --comment "Rostelecom HTTP" -j DROP Что это такое? Модуль u32 iptables позволяет выполнять битовые операции и операции сравнения над 4-байтовыми данными в пакете. По смещению 0x4 хранится 2-байтное поле Indentification, сразу за ним идут 1-байтные поля Flags и Fragment Offset. Начиная со смещения 0x60 расположен домен перенаправления (HTTP-заголовок Location). Если Identification = 1, Flags = 0, Fragment Offset = 0, 0x60 = «warn», 0x64 = «ing.», 0x68 = «rt.ru», то отбрасываем пакет, и получаем настоящий ответ от сайта.

В случае с HTTPS-сайтами, DPI присылает TCP Reset-пакет, тоже с Identification = 1 и Flags = 0.

Активный DPI

Активный DPI — DPI, подключенный в сеть провайдера привычным образом, как и любое другое сетевое устройство. Провайдер настраивает маршрутизацию так, чтобы DPI получал трафик от пользователей к заблокированным IP-адресам или доменам, а DPI уже принимает решение о пропуске или блокировке трафика. Активный DPI может проверять как исходящий, так и входящий трафик, однако, если провайдер применяет DPI только для блокирования сайтов из реестра, чаще всего его настраивают на проверку только исходящего трафика.

Системы DPI разработаны таким образом, чтобы обрабатывать трафик с максимально возможной скоростью, исследуя только самые популярные и игнорируя нетипичные запросы, даже если они полностью соответствуют стандарту.

Изучаем стандарт HTTP

Типичные HTTP-запросы в упрощенном виде выглядят следующим образом:GET / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive Запрос начинается с HTTP-метода, затем следует один пробел, после него указывается путь, затем еще один пробел, и заканчивается строка протоколом и переносом строки CRLF. Заголовки начинаются с большой буквы, после двоеточия ставится символ пробела.

Давайте заглянем в последнюю версию стандарта HTTP/1.1 от 2014 года. Согласно RFC 7230, HTTP-заголовки не зависят от регистра символов, а после двоеточия может стоять произвольное количество пробелов (или не быть их вовсе).

Each header field consists of a case-insensitive field name followed by a colon (":"), optional leading whitespace, the field value, and optional trailing whitespace. header-field = field-name ":" OWS field-value OWS field-name = token field-value = *( field-content / obs-fold ) field-content = field-vchar [ 1*( SP / HTAB ) field-vchar ] field-vchar = VCHAR / obs-text obs-fold = CRLF 1*( SP / HTAB ) ; obsolete line folding OWS — опциональный один или несколько символов пробела или табуляции, SP — одинарный символ пробела, HTAB — табуляция, CRLF — перенос строки и возврат каретки (\r\n).

Это значит, что запрос ниже полностью соответствует стандарту, его должны принять многие веб-серверы, придерживающиеся стандарта:

GET / HTTP/1.1 hoSt:habrahabr.ru user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br coNNecTion: keep-alive ← здесь символ табуляции между двоеточием и значением На деле же, многие веб-серверы не любят символ табуляции в качестве разделителя, хотя подавляющее большинство серверов нормально обрабатывает и отсутствие пробелов между двоеточием в заголовках, и множество пробелов.

Старый стандарт, RFC 2616, рекомендует снисходительно парсить запросы и ответы сломанных веб-северов и клиентов, и корректно обрабатывать произвольное количество пробелов в самой первой строке HTTP-запросов и ответов в тех местах, где требуется только один:

Clients SHOULD be tolerant in parsing the Status-Line and servers tolerant when parsing the Request-Line. In particular, they SHOULD accept any amount of SP or HT characters between fields, even though only a single SP is required.Этой рекомендации придерживаются далеко не все веб-серверы. Из-за двух пробелов между методом и путем ломаются некоторые сайты.

Спускаемся на уровень TCP

Соединение TCP начинается с SYN-запроса и SYN/ACK-ответа. В запросе клиент, среди прочей информации, указывает размер TCP-окна (TCP Window Size) — количество байт, которые он готов принимать без подтверждения передачи. Сервер тоже указывает это значение. В интернете используется значение MTU 1500, что позволяет отправить до 1460 байтов данных в одном TCP-пакете. Если сервер указывает размер TCP-окна менее 1460, клиент отправит в первом пакете данных столько, сколько указано в этом параметре.

Если сервер пришлет TCP Window Size = 2 в SYN/ACK-пакете (или мы его изменим на это значение на стороне клиента), то браузер отправит HTTP-запрос двумя пакетами:

Пакет 1:

GEПакет 2:T / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive

Используем особенности HTTP и TCP для обхода активного DPI

Многие решения DPI ожидают заголовки только в стандартном виде. Для блокировки сайтов по домену или URI, они ищут строку "Host: " в теле запроса. Стоит заменить заголовок «Host» на «hoSt» или убрать пробел после двоеточия, и перед вами открывается запрошенный сайт. Не все DPI можно обмануть таким простым трюком. DPI некоторых провайдеров корректно анализируют HTTP-заголовки в соответствии со стандартом, но не умеют собирать TCP-поток из нескольких пакетов. Для таких DPI подойдет «фрагментирование» пакета, путем искусственного уменьшения TCP Window Size.

В настоящий момент, в РФ DPI устанавливают и у конечных провайдеров, и на каналах транзитного трафика. Бывают случаи, когда одним способом можно обойти DPI вашего провайдера, но вы видите заглушку транзитного провайдера. В таких случаях нужно комбинировать все доступные способы.

Программа для обхода DPI

Я написал программу для обхода DPI под Windows: GoodbyeDPI. Она умеет блокировать пакеты с перенаправлением от пассивного DPI, заменять Host на hoSt, удалять пробел между двоеточием и значением хоста в заголовке Host, «фрагментировать» HTTP и HTTPS-пакеты (устанавливать TCP Window Size), и добавлять дополнительный пробел между HTTP-методом и путем. Преимущество этого метода обхода в том, что он полностью автономный: нет внешних серверов, которые могут заблокировать.

По умолчанию активированы опции, нацеленные на максимальную совместимость с провайдерами, но не на скорость работы. Запустите программу следующим образом:

goodbyedpi.exe -1 -aЕсли заблокированные сайты стали открываться, DPI вашего провайдера можно обойти. Попробуйте запустить программу с параметром -2 и зайти на заблокированный HTTPS-сайт. Если все продолжает работать, попробуйте режим -3 и -4 (наиболее быстрый). Некоторые провайдеры, например, Мегафон и Yota, не пропускают фрагментированные пакеты по HTTP, и сайты перестают открываться вообще. С такими провайдерами используйте опцию -3 -a

Эффективное проксирование для обхода блокировок по IP

В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов. Программа ReQrypt работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения с подменой исходящего IP-адреса на клиентский, сервер назначения отвечает клиенту напрямую, минуя ReQrypt.

ReQrypt

Если наш компьютер находится за NAT, мы не можем просто отправить запрос на сервер ReQrypt и ожидать ответа от сайта. Ответ не дойдет, т.к. в таблице NAT не создана запись для этого IP-адреса. Для «пробива» NAT, ReQrypt отправляет первый пакет в TCP-соединении напрямую сайту, но с TTL = 3. Он добавляет запись в NAT-таблицу роутера, но не доходит до сайта назначения.

Долгое время разработка была заморожена из-за того, что автор не мог найти сервер с возможностью спуфинга. Спуфинг IP-адресов часто используется для амплификации атак через DNS, NNTP и другие протоколы, из-за чего он запрещен у подавляющего большинства провайдеров. Но сервер все-таки был найден, хоть и не самый удачный. Разработка продолжается.

Заключение и TL;DR

GoodbyeDPI — программа под Windows, позволяющая обходить пассивные и активные DPI. Просто скачайте и запустите ее, и заблокированные сайты станут снова доступны. Для Linux есть аналогичная программа — zapret.

Используйте кроссплатформенную программу ReQrypt, если ваш провайдер блокирует сайты по IP-адресу.

Определить тип блокировки сайтов можно программой Blockcheck. Если в тестах DPI вы видите, что сайты открываются, или видите строку «обнаружен пассивный DPI», то GoodbyeDPI вам поможет. Если нет, используйте ReQrypt.

Дополнительная полезная информация есть здесь и здесь.

habr.com

DPI для мобильного бизнеса "Ростелекома"

Кроме роста трафика есть и другие причины, по которым к системам управления сетью предъявляются всё более многочисленные и более сложные требования — какие-то из них обусловлены самой деятельностью оператора/провайдера, а какие-то необходимо внедрять в интересах клиентов. В последнее время дополнительную нагрузку для оборудования DPI "подкидывают" и законодатели.

В феврале была публикация, посвященная оборудованию Deep Packet Inspection (DPI) — см. "ITU стандартизировало конец Интернета (или сказ про DPI)"и вот появился случай опять обратиться к данной теме.

Стало известно, что ОАО "Ростелеком" готовится к внедрению "Системы контроля и управления услугами передачи данных DPI/PCRF (PCC) для абонентов мобильной сети" и поэтому на сайте zakupki.gov.ru ("Закупка №31300488761") появилась информация о желании "Ростелекома" купить как "комплекс РСС", так и готовность оплатить, связанные с этим работы — ПИР, ПНР. То есть в одну заявку оператора вошли и закупка/поставка оборудования и необходимые работы для ввода в эксплуатацию.

"По оценкам компании Infonetics Research рынок решений DPI в период с 2011 по 2016 год будет расти в среднегодовом темпе 34%, причем в большей степени увеличение будет касаться участников, работающих на рынке беспроводных услуг связи. Операторы мобильной связи развертывают решения на базе DPI для управления трафиком, используют при предоставлении VAS (value-added services), а также для приложений, связанных с ограничением трафика." *

В соответствии с графиком выполнения обязательств по внедрению этой системы, первым макрорегиональным филиалом, где она должна начать работу, станет "Урал". Отмечу, что не позднее 30 апреля 2014 года, система DPI должна уже быть запущена во всех макрорегионах "Ростелекома". Итак, по порядку: "Урал" — до 31 января 2014 г., "Волга", "Юг", "Сибирь" — до 28 февраля 2014 г., "Северо-Запад" и "Дальний Восток" — до 31 марта 2014 года. Последними будут "Центр" и "Москва" — эксплуатация должна начаться до 30 апреля следующего года.

Это "крайние" сроки — окончание работ может быть и раньше и будет определяться традиционно — по подписанию двусторонних актов выполненных работ. На поставку оборудования отводится от 30 до 45 дней, всё остальное время (минимально — 180 дней, максимально — 210 дней) можно потратить на проведение работ и на их приемку-сдачу.

Читать дальше

nag-community.livejournal.com

Второй DPI для «Ростелекома»Подключить интернет в квартиру, в офис, рейтинг интернет-провайдеров

Ростелеком проанализирует трафик

На сайте госзакупок появилась заявка от компании «Ростелеком». Национальный оператор собирается внедрить систему контроля и управления услугами мобильной передачи данных – DPI. Начальная цена конкурса — 1,1 млрд рублей, все работы по проекту должны быть закончены к 30 апреля 2014 года.

Заинтересованность «Ростелекома» в DPI вполне понятна и объяснима. Система, не смотря на серьезное количество нулей в графе «стоимость», приобретает все большую популярность у операторов. Судя отзывам и комментариям экспертов, это настоящая шайтан-машина, которая умеет делать то, что иным системам пока не под силу.

- «В отличие от стандартных механизмов классификации трафика, встроенных в распространенные маршрутизаторы, и основанных на данных, содержащихся в заголовках 3-4 уровней OSI модели (IP,TCP/UDP) системы DPI обладают возможностями распознавать отдельные сетевые приложения (YouTube, P2P, Instant Messaging, Browsing и т.д.)», — пояснил системный инженер Cisco Systems Денис Коденцев.

Эти технические особенности позволяют решать целый комплекс задач. С одной стороны, система может послужить маркетологам компании-оператора.

- «С помощью этой технологии возможно получение детальной статистики о пользователях (тип/приложение трафика, доля использования в общем объеме и т.д), проработка тарифных планов на базе полученной статистики, а также управление трафиком пользователей/приложений в соответствии с тарифной политикой», — рассказывает руководитель сетевого направления компании Netwell Илья Коваленко.

С другой, DPI помогает решить вопросы безопасности в Сети.

- «При помощи DPI можно обнаруживать и удалять вирусы из трафика абонентов, определять какое приложение было источником трафика и принимать различные меры (блокировать трафик или изменять его приоритет). Также DPI используется для контроля утечек данных в крупных компаниях и построения детальной статистики по видам трафика для каждого пользователя», — поясняет руководитель направления платформ дополнительных операторских сервисов (VAS) компании CTI Андрей Федоров.

Однако в последнее время слово «блокировка» у всех причастных к интернет-индустрии все чаще ассоциируется с реализацией «антипиратского закона» и закона «О защите детей от информации». DPI как раз и помогает отделять правых от виноватых и «закрывать» ресурсы точечно, ведь, по словам Андрея Федорова, «система дает «возможность блокировки не только IP адресов сайтов, но и URL».

«Большая тройка» уже давно освоила сие техническое достижение, в стороне от прогресса остававлся только «Ростелеком». Например, МТС установила данную систему еще в 2010 году.

- «Внедрение платформы позволило МТС предложить мобильным  абонентам безлимитные интернет-тарифы, ориентированные на различные профили использования передачи данных, внедрить услугу, снимающую все скоростные ограничения на интернет-опциях, и сервис фильтрации «Родительский контроль», который защищает детей в интернете от вредоносного контента. Кроме того, платформа фильтрации DPI входит в состав системы, которая используется для исполнения требований российского законодательства по ограничению доступа всех абонентов к противоправному контенту в интернете», — пояснила представитель пресс-службы МТС Ирина Агаркова.

«МегаФон» и «Билайн» также используют это достижение мысли и техники: первый с 2009, второй – с 2011 года. Задачи, которые операторы решают с помощью данной системы, в принципе, схожи.

Хотя едва ли можно говорить о том, что «Ростелеком» так уж отстал от своих коллег.

- «Ростелеком» развернул пилотную зону системы  DPI для фиксированной связи на Урале. По результатам эксплуатации пилотного проекта будет принято решение о ее дальнейшем масштабировании», — говорит представитель компании Ирина Жаброва.

А еще в этой связи можно припомнить захватывающую детективную историю двухлетней давности. В 2011 году компания Allot Communications, являющаяся одним из лидеров среди производителей оборудования под DPI, объявила о том, что ее выручка выросла на 37% по сравнению с показателями предыдущего года. В этом ей очень помогли новые контакты, один из которых был заключен с «Ростелекомом». При этом Allot сообщили, что некий российский оператор фиксированной и мобильной связи, имеющий более 25 млн пользователей развернул платформу Allot Service Gateway Sigma. Под это скупое описание (список клиентов вендора, естественно, является закрытой информацией) подходят только операторы «большой тройки» и «Ростелеком». У первых, однако, в 2011 году было значительно больше абонентов, а вот «национальный чемпион» еще не приплюсовал к своим показателям абонентские базы приобретенных «дочек». Пасьянс, таким образом, сошелся. Не исключено, что уральское оборудование и есть то самое, которое «неизвестный» оператор приобрел в 2011 году.

В документах, опубликованных на сайте госзакупок, указано, что оператор собирается внедрить систему контроля и управления услугами мобильной передачи данных. Эксперты пояснили, что именно мобильные операторы чаще всего используют DPI.

- «DPI особенно востребована у операторов мобильного ШПД, в силу более стесненных ресурсов, по сравнению с фиксированным ШПД, где более популярны пакеты с отсутствием каких-либо ограничений. Крупные фиксированные сети ШПД редко бывают гомогенными, как в плане используемого оборудования, так и в плане стандарта. Поэтому внедрение DPI на них осложнено в принципе», — объясняет заместитель директора департамента оборудования для опорных сетей компании Huawei в России Павел Крылов.

Однако формулировка «стесненные ресурсы» едва ли может быть применена к «Ростелекому». «На совести» национального оператора не только мобильные сети, но и фиксированный ШПД. В условиях постоянно расширяющегося списка «запрещенной» в России информации крупный оператор обязательно должен уметь «точечно» блокировать ресурсы — интернет-сообщество не устает считать сайты, которые «нечаянно» закрыли вместе с соседями по IP.

Но техника летит впереди времени: эксперты говорят, что решения DPI могут применяться как в мобильных сетях, так и у фиксированных операторов.

- «Устройства DPI для фиксированной и мобильной связи  - это одни и те же устройства. Меняются только подсистемы сопряжения, в виду разных протоколов взаимодействия. У операторов мобильной связи очень много специфичных протоколов и требований, которые должны поддерживать устройства, но не смотря на это – физически это одни и те же устройства с включенной или выключенной функциональностью. Возможность использования одного и того же устройства конечно же существует. Никто не мешает докупить необходимые электронные ключи или дополнительные подсистемы», — рассказывает Илья Коваленко.

- «Установка различных DPI систем для проводной и мобильной связи не требуется – как правило все современные системы DPI и обладают всем необходимым функционалом для реализации сервисов как для мобильных, так и проводных абонентов», — подтверждает Денис Коденцев.

В настоящий момент операторы активно используют все возможности системы. Представитель МТС, например, рассказал, что система DPI установлена на магистральной сети оператора. С ее помощью выход в интернет получают как «мобильные», так и «фиксированные» абоненты компании.

Что же касается стоимости этой удивительной машины, то, по словам производителей, здесь приходится учитывать множество факторов, так что разброс может быть достаточно большим. Представители Newell объяснили, что стоимость может «колебаться от 20 000 тысяч долларов (за решение для малого/среднего предприятия) до нескольких миллионов (за комплексное решение для оператора связи)». Так что «Ростелеком», обозначивший в конкурсных документах цену 1,1 млрд рублей (начальная стоимость), оказался как раз посередине между обозначенными крайними цифрами. Компания МТС, правда, потратила на DPI значительно больше – общие затраты оператор оценивает примерно в $50 млн. «МегаФон» и «Вымпелком» предпочли не раскрывать объем инвестиций в DPI.

telekomza.ru


Смотрите также