powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Програмно считать схожую инфу с череды сайтов
11 сообщений из 11, страница 1 из 1
Програмно считать схожую инфу с череды сайтов
    #38248187
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообщем схема такова..... Есть сайт, в нем несколько элементов div название класса которых одинаково и известно. В каждом из этих div есть единственный абзац <a></a>, текст которого надо получить. Проблема в том что на сайте множество страниц и пробегатся по каждой вручную нет ни сил ни желания. Список адресов всех страниц есть - надо только пробежаться по ним и вытянуть из каждой то что я обозначил.
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248189
Фотография Паганель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
обратитесь к разработчикам того сайта,
возможно, у них уже реализован внешний интерфейс "для партнеров", который эти данные уже предоставляет,
и надо только договориться чтобы одним из этих самых партнеров стать...
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248195
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну если бы на сайте были хоть какие-то данные о разработчике, или о компании то да. Также, отсутствие различных рекламных баннеров и соотвествующих к ним ссылок типа "заходите к нашим друзьям" дает понять, что сайт сделан не для "партнеров", не предоставляет веб-сервисов, и не сделан в качестве визитки.
Он вообще очень прост - регистрация, немного настроек профиля типа цветовой гаммы и все.
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248199
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
К примеру, нужна идея для програмки которая пробегается по забитым в параметры адресам сайтов и сливает их HTML-исходники
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248206
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanekoffice,

отвратительная идея, это раз
при чем тут ASP.NET? это два

сайты можно тащить с помощью утилиты wget
и парсить на C# http://habrahabr.ru/post/112325/

ASP.NET тут ни каким боком.

готовую утилиту, которая тащит нужные именно вам данные вы не найдете, ну и никто вам её просто так не напишет.
берите любую либу, которая ест html и вперед...

но идея плохая, куда лучше получить данные легально, как порекомендовал Паганель
а то это на воровство смахивает, знаете чем это может грозить.
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248210
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну по-пунктам....
1) Невижу ничего плохого в том чтобы брать информацию которая уже общедоступна.
2)Asp.Net может и не к месту но я не представлюю себе форума на котором эта тема была бы к месту.
3) Как порекомендовал Пангель я бы сделал да нет вариантов - причину я уже написал.
4) Готовую утулиту я не просил. Я просил идею для получения HTML-кода. Все остольное я конечно сделаю сам
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248233
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и подчеркну что получение HTML-кода в данном случае лишь упрощает добычу текста который на сайте выложен. Инфа не секретная и подлежит огласке кем угодно и когда угодно...она включает только имена и фамилии людей которые их не скрывают, они на них зарабатывают. Так что вся моя деятельность есть ничто иное как автоматизация действия "копировать-вставить". Я же ни китаец в конце-концов: взяли тачку, заменили бампер с названием и сказали что машина ими придумана...

За совет спасибо. щас буду смотреть
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248246
WebRequest
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
            string path = Path.Combine(System.Environment.CurrentDirectory, "myFile.txt");            
            WebRequest request = HttpWebRequest.Create("url here!!!");
            //request.ContentType = "application/xml";                 
            //request.Headers.Add(HttpRequestHeader.Authorization, "Basic " + credentials);
                        
            try
            {
                using (WebResponse response = request.GetResponse())
                {
                    using (StreamReader reader = new StreamReader(response.GetResponseStream()))
                    {
                        /*using (StreamWriter sw = new StreamWriter(path))
                        {
                            sw.Write(reader.ReadToEnd());
                        }*/                      
                    }                
                } 
            }
            catch (WebException ex)
            {
                Console.WriteLine("{{error: 'true', reason : '{0}'}}", ex.Message);             
            }            
            Console.WriteLine("Ended!!!");

            Console.ReadLine();


Парсилку можно сделать на регулярных выражениях, или есть либа (помоему встроеная в нет! ;) - которая парсит дом-модель!

Удачи!!!
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248263
Фотография Паганель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248314
monstrU
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sanekoffice,

что-то задача стянуть что-то одинаковое с сайтов возникает все время.

вот есть утилита для решения таких задач.
утилита для закачки данных
если будут вопросы о том как настраивать - пиши комментарии, я подскажу.
...
Рейтинг: 0 / 0
Програмно считать схожую инфу с череды сайтов
    #38248316
sanekoffice
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WebRequest, спасибо! то что нужно.
hVostt, Паганель - аналогично, благодарствую.
monstrU, и вам от всей души.

Вопрос закрыт!
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Програмно считать схожую инфу с череды сайтов
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]