ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Нубский вопрос о копировании данных с сайта
11 сообщений из 11, страница 1 из 1
Нубский вопрос о копировании данных с сайта
    #37837528
iDimash
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iDimash
Участник
Добрый день!

Извините за нубский вопрос просто никогда с подобным не сталкивался, вопрос задаю чтобы выбрать направление в своих искания.

Собственно задача. Есть сайт с поиском некой инф. по реквизитам, в результате выдается таблица с небольшим описанием искомого в каждой строке и ссылкой на полное описание. Нужно пробежаться по параметрам поиска, потом по результатам в таблице и по копировать ссылки на полное описание, затем перебрать самими ссылки на полные описания в котором есть структурированная инф. которую нужно занести в таблицы базы данных. Вообщем такой себе копи паст базы сайта :) Думаю объяснил понятно. С помощью чего можно решить подобную задачу, куда рыть, javascript?
...
Рейтинг: 0 / 0
14.06.2012, 11:31:19
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837540
SharuPoNemnogu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SharuPoNemnogu
Участник
iDimash,

curl php
...
Рейтинг: 0 / 0
14.06.2012, 11:35:47
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837591
Фотография Паганель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Паганель
Участник
Можете обратиться к Павлу в ПТ
/topic/946302
ЗЫ пожалуй даже денег не попросит (он антипотребитель) ну в крайнем случае попросит дать попользоваться айпадом
...
Рейтинг: 0 / 0
14.06.2012, 12:02:01
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837688
Фотография Имя пользователя1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имя пользователя1
Участник
задача стандартная, классическая и даже банальная.
называется "парсинг сайта".
делается практически на любом языке программирования.
...
Рейтинг: 0 / 0
14.06.2012, 12:44:06
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837695
ShSerge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShSerge
Участник
Имя пользователя1,

А если там есть АПИ или хотя бы РСС - ваще стандартное дело.
ПС. А тырить инфу - нехорошее дело.
...
Рейтинг: 0 / 0
14.06.2012, 12:47:16
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837705
SharuPoNemnogu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SharuPoNemnogu
Участник
ShSergeИмя пользователя1,

А если там есть АПИ или хотя бы РСС - ваще стандартное дело.
ПС. А тырить инфу - нехорошее дело.

Но и не легкое. Сколько стараний для этого. Почти то же самое, что и самому всю инфу собрать))
...
Рейтинг: 0 / 0
14.06.2012, 12:49:48
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837756
iDimash
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iDimash
Участник
Всем спасибо за подсказки, ключевое слово "парсинг" :)

ShSergeИмя пользователя1,

А если там есть АПИ или хотя бы РСС - ваще стандартное дело.
ПС. А тырить инфу - нехорошее дело.

А почему нехорошее? Эта инфа в свободном доступе, какая разница как я ее получу, вручную или на автоматом? :)
...
Рейтинг: 0 / 0
14.06.2012, 13:10:01
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837758
ShSerge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShSerge
Участник
iDimashВсем спасибо за подсказки, ключевое слово "парсинг" :)

ShSergeИмя пользователя1,

А если там есть АПИ или хотя бы РСС - ваще стандартное дело.
ПС. А тырить инфу - нехорошее дело.

А почему нехорошее? Эта инфа в свободном доступе, какая разница как я ее получу, вручную или на автоматом? :)
Ну, если имеется ссылка на первоисточник - то тоже ничего.
...
Рейтинг: 0 / 0
14.06.2012, 13:11:06
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837908
mage.lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mage.lan
Участник
iDimashА почему нехорошее? Эта инфа в свободном доступе, какая разница как я ее получу, вручную или на автоматом? :)
В том случае, если вы создадите существенную нагрузку на "свободный контент", без договора с владельцами сайтов, вашего робота просто заблокируют по ip. Поэтому советую сразу подумать о кешировании и не появляться на чужих сайтах чаще раза в час, а лучше раза в сутки.
...
Рейтинг: 0 / 0
14.06.2012, 14:17:43
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837959
iDimash
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iDimash
Участник
ShSergeИмя пользователя1,

А если там есть АПИ или хотя бы РСС - ваще стандартное дело.
ПС. А тырить инфу - нехорошее дело.

А как узнать есть ли там АПИ?
...
Рейтинг: 0 / 0
14.06.2012, 14:46:23
| Ответить | Цитировать | Написать  
Нубский вопрос о копировании данных с сайта
    #37837992
ShSerge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShSerge
Участник
iDimash,

Очень просто. Кнопка "RSS" она такая жёлтенькая (как на этом сайте), а насчёт апи - не знаю. Вот, например на сайте cbr.ru имеется апи, там и ссылка на него есть. Щас так многие, кому есть чего показать, делают.
...
Рейтинг: 0 / 0
14.06.2012, 15:04:30
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Нубский вопрос о копировании данных с сайта
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=22&msg=37837528&tid=1449697]:
 0ms
get settings:
 9ms
get forum list:
 19ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 199ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 53ms
get tp. blocked users:
 1ms
others: 197ms
total:  498ms
созд. / загр.: 498ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]