Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
23.01.2008, 12:47
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
как и чем вынуть данные из таблиц html-файла размером 80 мбайт, и при этом чтоб не зависло? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 14:30
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
напиши свою программу... Что значит зависнет, сколько надо - отработает... Какой именно sql server? Версия... --  Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 14:45
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
Ал75как и чем вынуть данные из таблиц html-файла размером 80 мбайт, и при этом чтоб не зависло? DTS пакет тебе в помощь! при помощи него все это можно сделать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 14:48
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
_Новичек DTS пакет тебе в помощь! при помощи него все это можно сделать пробовал - таки зависает.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 15:17
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
Такие проблемы нужно решать концептуально... Это одноразовая операция, или периодическая? Если периодическая, откуда этот файл берется? Покажите часть содержимого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 15:30
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
ежемесячный отчет от сотового провайдера, операция будет периодическая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 15:50
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
Провайдер может присылать отчеты в более другом виде? Покажите таки часть содержимого. Может это XHTML и его можно будет перегнать через XML. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.01.2008, 17:30
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
Сделать на каком-нибудь языке простейший парсер, который перегонит в xml или cvs, а дальше будет проще. P.S. Я могу представить, сколько эта "страничка" открывается ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2008, 07:44
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
IDVsbruckСделать на каком-нибудь языке простейший парсер, который перегонит в xml или cvs, а дальше будет проще. видимо ничего другого не остается. Пробовал консольную тулзу tidy.exe , которая переводит html в xml, но она тоже тормозная, за полчаса результата не дождался. Может есть какие другие консольные утилиты для этого? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2008, 12:41
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
А порезать этот файл ни как? Парсить 80Мб - понятно уйдет в небытие, хоть где... Теоритически, удобнее сразу, загрузчиком резать при получении файла.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2008, 16:11
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
У меня как-то проект был: по фтп получаю xml, парсю его и загоняю в БД. Параллельно создаю полный лог всего процесса. В принципе, ежедневные файлы небольшие - от 200кБ до 2МБ, но первый был 65-70 МБ. У меня достаточно серьезная машина: C2Duo E6900, оверклокеровская разогнаная память, разогнанная материнка (геймеровская) - то есть, одним словом, достаточно мощный аппарат, Eclipse грузится от 0.4 до 0.9 секунд - кто знает, поймет. Так вот, этот файл у меня парсился 30-40 минут SAX-ом, достаточно быстрым парсером (по крайней мере, не ручные процессинги). Так что советую продолжить дерзание: временные задержки - это нормально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.01.2008, 16:47
|
|||
|---|---|---|---|
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
Интересно за какое время пропарсит файл lynx -dump -nolist URL >вых.файл Он уже и так табличку вернёт с разделителями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.01.2008, 08:20
|
|||
|---|---|---|---|
|
|||
html-файл 80 мег -> в базу MSSQL |
|||
|
#18+
ShSergeИнтересно за какое время пропарсит файл lynx -dump -nolist URL >вых.файл Он уже и так табличку вернёт с разделителями. вот! спасибо, отличная подсказка! lynx пропарсил за 20мин, из 80 мег получился файл 10 мег со вполне читабельными данными. и ничего не подвисало при этом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=22&mobile=1&tid=1457017]: |
0ms |
get settings: |
7ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
151ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
29ms |
get tp. blocked users: |
1ms |
| others: | 213ms |
| total: | 427ms |
| 0 / 0 |
