|
html-файл 80 мег -> в базу MSSQL
|
|
|---|---|
|
напиши свою программу...
Что значит зависнет, сколько надо - отработает... Какой именно sql server? Версия... --  Posted via ActualForum NNTP Server 1.4 |
|
| 23.01.2008, 14:30 |
|
|
|
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
как и чем вынуть данные из таблиц html-файла размером 80 мбайт, и при этом чтоб не зависло? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 12:47 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
напиши свою программу... Что значит зависнет, сколько надо - отработает... Какой именно sql server? Версия... -- Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 14:30 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
Ал75как и чем вынуть данные из таблиц html-файла размером 80 мбайт, и при этом чтоб не зависло? DTS пакет тебе в помощь! при помощи него все это можно сделать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 14:45 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
_Новичек DTS пакет тебе в помощь! при помощи него все это можно сделать пробовал - таки зависает.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 14:48 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
Такие проблемы нужно решать концептуально... Это одноразовая операция, или периодическая? Если периодическая, откуда этот файл берется? Покажите часть содержимого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 15:17 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
ежемесячный отчет от сотового провайдера, операция будет периодическая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 15:30 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
Провайдер может присылать отчеты в более другом виде? Покажите таки часть содержимого. Может это XHTML и его можно будет перегнать через XML. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 15:50 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
Сделать на каком-нибудь языке простейший парсер, который перегонит в xml или cvs, а дальше будет проще. P.S. Я могу представить, сколько эта "страничка" открывается ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2008, 17:30 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
IDVsbruckСделать на каком-нибудь языке простейший парсер, который перегонит в xml или cvs, а дальше будет проще. видимо ничего другого не остается. Пробовал консольную тулзу tidy.exe , которая переводит html в xml, но она тоже тормозная, за полчаса результата не дождался. Может есть какие другие консольные утилиты для этого? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2008, 07:44 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
А порезать этот файл ни как? Парсить 80Мб - понятно уйдет в небытие, хоть где... Теоритически, удобнее сразу, загрузчиком резать при получении файла.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2008, 12:41 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
У меня как-то проект был: по фтп получаю xml, парсю его и загоняю в БД. Параллельно создаю полный лог всего процесса. В принципе, ежедневные файлы небольшие - от 200кБ до 2МБ, но первый был 65-70 МБ. У меня достаточно серьезная машина: C2Duo E6900, оверклокеровская разогнаная память, разогнанная материнка (геймеровская) - то есть, одним словом, достаточно мощный аппарат, Eclipse грузится от 0.4 до 0.9 секунд - кто знает, поймет. Так вот, этот файл у меня парсился 30-40 минут SAX-ом, достаточно быстрым парсером (по крайней мере, не ручные процессинги). Так что советую продолжить дерзание: временные задержки - это нормально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2008, 16:11 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
Интересно за какое время пропарсит файл lynx -dump -nolist URL >вых.файл Он уже и так табличку вернёт с разделителями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2008, 16:47 |
|
||
|
html-файл 80 мег -> в базу MSSQL
|
|||
|---|---|---|---|
|
#18+
ShSergeИнтересно за какое время пропарсит файл lynx -dump -nolist URL >вых.файл Он уже и так табличку вернёт с разделителями. вот! спасибо, отличная подсказка! lynx пропарсил за 20мин, из 80 мег получился файл 10 мег со вполне читабельными данными. и ничего не подвисало при этом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.01.2008, 08:20 |
|
||
|
|
start [/forum/topic.php?fid=22&fpage=348&tid=1457017]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
63ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
46ms |
get tp. blocked users: |
2ms |
| others: | 249ms |
| total: | 403ms |
| 0 / 0 |
