Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Windows [игнор отключен] [закрыт для гостей] / большие файлы по VPN / 25 сообщений из 38, страница 1 из 2
09.03.2010, 13:06
    #36508728
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Нужно передавать большие файлы между филиалами. Передача каждого может длиться часы. Между филиалами установлен VPN (Firewall CheckPoint <-> Firewall ISA). Из соображений безопасности установлено обновление ключей каждые 10 минут. Обновление ключей инициирует разрыв и установление нового соединения. Как следствие передача файла прерывается.

Действительно ли обновление ключей должно инициировать пересоединение?
Есть ли административные решения проблемы?
...
Рейтинг: 0 / 0
09.03.2010, 13:13
    #36508750
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Как бороться с этим файерволлом - не знаю, но вот копировать можно более "интеллектуально":
1) rsync-ом. В этом случае главное, чтобы rsync (причем на обоих сторонах) успевал за сеанс прочитать весь файл с диска, вычислить контрольные суммы его блоков и передать хоть немного недостающих блоков. Правда, есть опасность, что часы растянутся на сутки.
2) Поднять на передающей стороне http-сервер с возможностью докачки, скачивать любым приличным download manager-ом.
...
Рейтинг: 0 / 0
09.03.2010, 13:47
    #36508860
Толстый Лысый Админ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
ftp-сервер ?
...
Рейтинг: 0 / 0
09.03.2010, 14:35
    #36509016
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Необязательно пересоединение, это может быть отложеный процесс, не знаю регулируется ли это в ISA

--
http://www.podgoretsky.com
...
Рейтинг: 0 / 0
09.03.2010, 15:14
    #36509128
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Толстый Лысый Админftp-сервер ?
ftp-сервер обеспечит докачку файла после разрыва соединения?
Если да, то какой?
...
Рейтинг: 0 / 0
09.03.2010, 15:20
    #36509146
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Anatoly PodgoretskyНеобязательно пересоединение, это может быть отложеный процесс, не знаю регулируется ли это в ISA
"отложеный процесс" чего: передачи файла, пересоединения,...?
если можно, дайте ссылку чтоб понять о принцип. Необязательно ISA.
...
Рейтинг: 0 / 0
09.03.2010, 15:27
    #36509168
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
miksoft1) rsync-ом...rsync не пошёл: система получатель не имеет доступ в папки отправителя (односторонний траст доменов). Т.е. Отправитель должен сам писать а папку получателя. Если правильно разобрался, rsync "втягивает" данные.

miksoft http-сервер... IIS покатит?
...
Рейтинг: 0 / 0
09.03.2010, 16:14
    #36509330
Sergey Orlov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander Us,
Поставьте apache, да качайте wget'ом...
...
Рейтинг: 0 / 0
09.03.2010, 16:46
    #36509433
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander Usmiksoft1) rsync-ом...rsync не пошёл: система получатель не имеет доступ в папки отправителя (односторонний траст доменов). Т.е. Отправитель должен сам писать а папку получателя. Если правильно разобрался, rsync "втягивает" данные.rsync умеет по-всякому. Тут, наверное, rsync лучше использовать в режиме клиент-сервер. Т.е. на одной стороне он запущен всегда (сервер), другая сторона (клиент) к нему присоединяется и синхронизирует файл. Причем направление передачи файла не обязано совпадать с направлением клиент-сервер.

Alexander Usmiksoft http-сервер... IIS покатит?Если правильно настроить - да.
...
Рейтинг: 0 / 0
09.03.2010, 16:47
    #36509436
aleks2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander UsНужно передавать большие файлы между филиалами. Передача каждого может длиться часы. Между филиалами установлен VPN (Firewall CheckPoint <-> Firewall ISA). Из соображений безопасности установлено обновление ключей каждые 10 минут. Обновление ключей инициирует разрыв и установление нового соединения. Как следствие передача файла прерывается.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
D:\Users>xcopy /?
Копирование файлов и дерева папок.

XCOPY source [destination] [/A | /M] [/D[:date]] [/P] [/S [/E]] [/V] [/W]
                           [/C] [/I] [/Q] [/F] [/L] [/G] [/H] [/R] [/T] [/U]
                           [/K] [/N] [/O] [/X] [/Y] [/-Y] [/Z]
                           [/EXCLUDE:file1[+file2][+file3]...]

  source       Указывает файл для копирования.
  destination  Указывает размещение и имя новых файлов.
  /A           Копирует файлы только с атрибутом "Архивный",
               при этом значение атрибута не изменяется.
  /M           Копирует файлы только с атрибутом "Архивный",
               при этом атрибут "Архивный" отключается.
  /D:m-d-y     Копирует файлы, измененные либо в указанный день, либо после.
               Если дата не указана, копируются только те файлы,
               которые новее в исходной папке.
  /EXCLUDE:file1[+file2][+file3]...
               Указывает список файлов, содержащих строки. Каждая строка
               должна находиться в отдельной линии в файлах.  Если одна из
               строк совпадает с любой частью абсолютного пути копируемого
               файла, то такой файл копироваться не будет.  Например,
               указывание таких строк, как \\obj\\ или .obj, исключает
               из копирования все файлы в папке obj и, соответственно, все
               файлы с расширением .obj.
  /P           Запрашивает, прежде чем создать конечный файл.
  /S           Копирует все папки и подпапки, кроме пустых.
  /E           Копирует все папки и подпапки, включая пустые.
               То же самое, что и /S /E. Можно использовать для изменения /T.
  /V           Проверяет каждый новый файл.
  /W           Запрашивает нажатие клавиши, прежде чем начать копирование.
  /C           Продолжает копирование, даже если произошла ошибка.
  /I           Если конечная папка не существует и копируется более одного
               файла, подразумевается, что местом назначения должна быть папка.
  /Q           Не отображает имена файлов во время копирования.
  /F           Отображает имена исходных и конечных файлов во время копирования.
  /L           Отображает файлы, которые будут скопированы.
  /G           Разрешает копирование шифрованных файлов в конечную папку,
               не поддерживающую шифрование.
  /H           Копирует скрытые и системные файлы.
  /R           Заменяет файлы, доступные только для чтения.
  /T           Создает структуру папок, но не копирует файлы. Не поддерживает
               пустые папки и подпапки. Сочетание /T /E
               поддерживает пустые папки и подпапки.
  /U           Копирует только файлы, которые уже существуют в конечной папке.
  /K           Копирует атрибуты. Простая команда Xcopy сбрасывает атрибут
               "Только чтение".
  /N           Копирует с использованием сгенерированных коротких имен.
  /O           Копирует права владельца файлом и сведения таблицы управления
               доступом (ACL).
  /X           Копирует параметры аудита файла (включает действие /O).
  /Y           Подавляет запрос на подтверждение перезаписи
               существующего конечного файла.
  /-Y          Вызывает запрос на подтверждение перезаписи
               существующего конечного файла.
  /Z           Копирует сетевые файлы с возобновлением.

/Z

Alexander UsДействительно ли обновление ключей должно инициировать пересоединение?
Есть ли административные решения проблемы?
Ето полная фигня. Решение - гнать сисадмина в шею.
...
Рейтинг: 0 / 0
09.03.2010, 16:53
    #36509457
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander UsAnatoly PodgoretskyНеобязательно пересоединение, это может быть отложеный процесс, не знаю регулируется ли это в ISA
"отложеный процесс" чего: передачи файла, пересоединения,...?
если можно, дайте ссылку чтоб понять о принцип. Необязательно ISA.
Я не в курсе, какие именно реализуют и именно с ключами, но ясно же, что можно сразу применить, тогда пересоединение, или применить позже. Что выберут разработчики это их дело. Проще конечно пересоединить, чем пытаться искать паузу, но тогда возникает вопрос, что 10 минутный интервал выбран неверно, с таким интервалом практически работать не возможно, только в режиме восстановления, например с помощью reget и подобного.
...
Рейтинг: 0 / 0
09.03.2010, 17:21
    #36509582
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
aleks2Alexander UsДействительно ли обновление ключей должно инициировать пересоединение?
Есть ли административные решения проблемы?
Ето полная фигня. Решение - гнать сисадмина в шею.
За xcopy /Z спасибо.
За "полную фигню": обоснуйте плз.
За "гнать сисадмина в шею": под "административными решениями" подразумевались решения на уровне администрорования системы, а не администрирования персонала.
...
Рейтинг: 0 / 0
09.03.2010, 20:13
    #36509983
Sergey Orlov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander Usaleks2Alexander UsДействительно ли обновление ключей должно инициировать пересоединение?
Есть ли административные решения проблемы?
Ето полная фигня. Решение - гнать сисадмина в шею.
За xcopy /Z спасибо.
За "полную фигню": обоснуйте плз.
За "гнать сисадмина в шею": под "административными решениями" подразумевались решения на уровне администрорования системы, а не администрирования персонала.
С другой стороны, 10 минут и менять ключи... Может просто внимательнее почитать документацию, наверняка есть возможность перейти на другие алгоритмы шифрования, при которых смена ключей, заметьте временных ключей, не вызывает пересоединение...
...
Рейтинг: 0 / 0
09.03.2010, 20:42
    #36510035
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Вспомнил еще вариант - наложить поверх этого канала свой VPN. В свое время у меня получалось настроить OpenVPN так, что работающие поверх него соединения на разрывались даже при падении/подъеме диалапа.
...
Рейтинг: 0 / 0
10.03.2010, 05:57
    #36510462
Толстый Лысый Админ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander Us
ftp-сервер обеспечит докачку файла после разрыва соединения?
Если да, то какой?
вообщето ftp-сервер будет файлы отдавать
а докачка, обработка дисконнекта, скачка в несколько потоков, закачка по списку
есть в любом маломальски приличном ftp-клиенте
...
Рейтинг: 0 / 0
10.03.2010, 13:52
    #36511497
aleks2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Alexander UsЗа "полную фигню": обоснуйте плз.
За "гнать сисадмина в шею": под "административными решениями" подразумевались решения на уровне администрорования системы, а не администрирования персонала.

Ну, допустим, что вам действительно надо менять ключи каждые 10секунд... зачем только это надо, канешно, непонятна.

Ну дык ознакомьтесь с IPSec и шифрованием трафика ПОМИМО VPN.
...
Рейтинг: 0 / 0
10.03.2010, 17:26
    #36512300
Flying-home
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
А насколько большие файлы? Насколько толстый канал? Я бы не парился и разбил большие файлы на кусочки и передавал кусочками. А разрыв канала каждые 10 минут - это круто. Надо попроще решение найти.
...
Рейтинг: 0 / 0
10.03.2010, 19:07
    #36512589
Sergey Orlov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Flying-homeА насколько большие файлы? Насколько толстый канал? Я бы не парился и разбил большие файлы на кусочки и передавал кусочками. А разрыв канала каждые 10 минут - это круто. Надо попроще решение найти.
Да не просто круто, вообще, как в этих условиях работают то, ведь все сессии между компами из разных офисов слетают...
...
Рейтинг: 0 / 0
10.03.2010, 19:36
    #36512637
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Ну они восстанавливаются, прозрачно для пользователя.

--
http://www.podgoretsky.com
...
Рейтинг: 0 / 0
10.03.2010, 22:02
    #36512817
Sergey Orlov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Anatoly PodgoretskyНу они восстанавливаются, прозрачно для пользователя.

А если это коннект к SQL-серверу во время запуска транзакций, ведь откатится транзакция...
...
Рейтинг: 0 / 0
10.03.2010, 22:10
    #36512822
Sergey Orlov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Anatoly PodgoretskyНу они восстанавливаются, прозрачно для пользователя.
.
Мне вот только непонятно, почему смена ключей приводит к обрыву соединения. Ведь для установление соединения и согласование временных ключей, должно быть что-то уже определенное, например парольная фраза или сертификаты. Если это парольная фраза, то снимая трафик в течении 30-ти минут всегда этот момент можно отловить, после чего ее узнать... какая к черту тогда безопасность....
...
Рейтинг: 0 / 0
10.03.2010, 22:32
    #36512834
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Sergey OrlovAnatoly PodgoretskyНу они восстанавливаются, прозрачно для пользователя.

А если это коннект к SQL-серверу во время запуска транзакций, ведь откатится транзакция...
Я понял так, что ты об обычных сессиях говорил, а не про MS SQL
...
Рейтинг: 0 / 0
10.03.2010, 22:34
    #36512837
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Sergey OrlovAnatoly PodgoretskyНу они восстанавливаются, прозрачно для пользователя.
.
Мне вот только непонятно, почему смена ключей приводит к обрыву соединения. Ведь для установление соединения и согласование временных ключей, должно быть что-то уже определенное, например парольная фраза или сертификаты. Если это парольная фраза, то снимая трафик в течении 30-ти минут всегда этот момент можно отловить, после чего ее узнать... какая к черту тогда безопасность....
Обрыва соединения не происходит, происходит установление нового соединения, старое уже не может работать с новыми ключами.
Я не могу подтвердить описаное им поведение, верю только на слово.
...
Рейтинг: 0 / 0
10.03.2010, 23:06
    #36512865
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Многие задали вопросы, постараюсь ответить.

Для чего: Custom LogShipping для SQL Server 2005.
(Пояснение: SQL Server регулярно создаёт файлы транзакций где записаны произошедшие изменения. Эти файлы передаются в другой город, где накатываются на другой SQL Server. В результате получается резервный сервер с почти актуальными данными)

Максимальный размер файлов: может достигать 100 гиг.
Обычный размер: от сотен колобайт до пары гиг.

Проблемы: из за периодического "пропадания связи" невозможно передавать большие файлы.

Кастомизация: приходится программно резать и сжимать файлы.

Интервал переустановки ключа сейчас увеличен, но это не является полным решением проблемы.

Каналы: 2х34 мбит с лоад балансером.
Фактически удаётся передать не более 2 ГБайт в час.
...
Рейтинг: 0 / 0
10.03.2010, 23:23
    #36512888
Anatoly Podgoretsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
большие файлы по VPN
Тогда у вас очень плохая сеть, должно быть порядка 15 гб
При таких размерах, без какого то средства закачки не обойтись.
--
http://www.podgoretsky.com
...
Рейтинг: 0 / 0
Форумы / Windows [игнор отключен] [закрыт для гостей] / большие файлы по VPN / 25 сообщений из 38, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]