Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / Как скачать информацию с сайта? / 15 сообщений из 15, страница 1 из 1
12.08.2004, 08:14
    #32645747
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
Одна компания хостит наш сайт и имеет всю базу данных о наших клиентах, но из-за перехода от данного хостера к другому нужно скачать всю эту информацию. Как это можно сделать? Имеются все ID клиентов, по этому ID через веб-интерфейс можно посмотреть о них информацию, предварительно залогонившись. Кто-нибудь имеет подобный опыт? Поделитесь, плиз.
...
Рейтинг: 0 / 0
12.08.2004, 09:07
    #32645815
А.Гpacoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
rimanОдна компания хостит наш сайт и имеет всю базу данных о наших клиентах, но из-за перехода от данного хостера к другому нужно скачать всю эту информацию. Как это можно сделать? Имеются все ID клиентов, по этому ID через веб-интерфейс можно посмотреть о них информацию, предварительно залогонившись. Кто-нибудь имеет подобный опыт? Поделитесь, плиз.

не проще базу перенести?

а если надо - пишется клиент некий, на джаве, например.

в сове время я написал подобное, чтобы получить список всех
мемберов форума на SQL.Ru. так что опыт есть.
выкачивались также (тоже явой) многие другие сайты. для каждого -
своя тулза.
...
Рейтинг: 0 / 0
12.08.2004, 12:31
    #32646339
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
А.Гpacoff
не проще базу перенести?

а если надо - пишется клиент некий, на джаве, например.

в сове время я написал подобное, чтобы получить список всех
мемберов форума на SQL.Ru. так что опыт есть.
выкачивались также (тоже явой) многие другие сайты. для каждого -
своя тулза.
Перенести не получится - такой услуги у них нет.
Может кинешь сэмпл, на мыло или сюда, как ты со скуля мемберов получал? В принципе сам механизм понятен, но перед началом хочется посмотреть на пример.
мейл: riman[cобака]mail15.com
...
Рейтинг: 0 / 0
12.08.2004, 12:58
    #32646437
А.Гpacoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
зачем? пусть тут и будет :)

пример
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
package net.uart.http.downloader;

import java.net.*;
import java.io.*;

 /**
 * author:  ...
 * package: net.uart.http.downloader
 * date:    07.07.2004
 */ 
public class SQLRuMembers {
  public static void main(String[] args) throws IOException {
    String listFile = "c:\\sqlmembers.txt";

    BufferedWriter bw = new BufferedWriter(new FileWriter(listFile));

    for (int i = 0; i < 10; i++) {
      String url = "user=" + i;
      Socket socket = new Socket("my_proxy_ip", 8080);
      socket.setSoTimeout(20000);

      PrintWriter pw;
      InputStreamReader isr;
      pw = new PrintWriter(socket.getOutputStream());
      isr = new InputStreamReader(socket.getInputStream());

      String header = getHeader(url);
      pw.println(header);
      pw.flush();

      String answer = "";
      int readed;
      char[] buf = new char[1024];

      boolean found = false;
      try {
        while ((readed = isr.read(buf)) != -1) {
          String temp = String.copyValueOf(buf, 0, readed);

          answer += temp;
          if (answer.lastIndexOf("автор с таким ID") != -1) {
            found = false;
            break;
          }

          if (answer.lastIndexOf("Распределение сообщений") != -1) {
            found = true;
            break;
          }
        }
      } catch (IOException e) {
        found = false;
      }

      socket.close();

      if (found) {
        int pos = answer.indexOf("Информация об авторе:");
        if (pos != -1) {
          int pos0 = answer.indexOf(">", pos + "Информация об авторе:".length() - 2);
          if (pos0 != -1) {
            int pos1 = answer.indexOf("<", pos0);
            if (pos1 != -1) {
              String memberName = answer.substring(pos0 + 1, pos1).trim();
              System.out.println(i + "\t" + memberName);
              bw.write(i + "\t" + memberName);
              bw.newLine();
              bw.flush();
            }
          }
        }
      } else {
        System.out.println(i + "\t" + "................");
      }
    }

    bw.flush();
    bw.close();
  }

  private static String getHeader(String url) {
    return "GET " + url + " HTTP/1.0\r\n" +
            "Accept: */*\r\n" +
            "Accept-Language: en\r\n" +
            "User-Agent: Fuck Me, Calabok\r\n" +
            "Host: www.sql.ru\r\n" +
            "Referer: www.sql.ru\r\n" +
            "Proxy-Connection: Keep-Alive\r\n";
  }
}
...
Рейтинг: 0 / 0
12.08.2004, 13:29
    #32646579
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
Thanx!
...
Рейтинг: 0 / 0
12.08.2004, 17:22
    #32647393
слава зы
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
чета я не фкурил.

вы были клиентом,
информация в базе про ваших клиентов - ваша собственность.

и этот хостер отказывается сделать дамп базы с Вашей информацией?


обратитесь к юристу в вашей компании.
может письмо юриста ускорит процесс предоставления вам этой базой..


и на следующий раз более серьезный раз лучше у провайдера хостить свой собственный сервер,

платить надо большe, зато - полный контроль над своими данными.


зы

п.с.
Гракофф спасибо за пример.

я тут тоже озадачиваюсь некие сайты через яву иногда качать, компании своей рыночные данные собирать

типа отслеживать список новостных и корпоративных сайтов из области продовольственной
промышленности

сканить их пресс релизы время от времени на предмет кто кого покупает, кто с кем сливается в общие холдинги
кто работает с установленным списком брендов и т.д.

Не занимался ли ты подобными специфическими роботами?
...
Рейтинг: 0 / 0
12.08.2004, 17:34
    #32647440
А.Гpacoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
слава зы
Гракофф спасибо за пример.

я тут тоже озадачиваюсь некие сайты через яву иногда качать, компании своей рыночные данные собирать

типа отслеживать список новостных и корпоративных сайтов из области продовольственной
промышленности

...

Не занимался ли ты подобными специфическими роботами?

занимался. обновление курса баксов, и вообще валют в БД.
котировка акций. это год назад примерно все пройдено.

у кого xml-представление, у кого прямо с хтмл выдирать.. по-разному.
...
Рейтинг: 0 / 0
12.08.2004, 17:44
    #32647465
слава зы
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
>у кого xml-представление,
> у кого прямо с хтмл выдирать.. по-разному.про


хтмл роботы вот здесь смотрю

http://www.robotstxt.org/wc/active/html/


про хмл,рсс есть ли у тебя какие-нибудь ссылки?



млин, Гракофф, добрый и отзыфчифый ты человек.


буду ф питере, буду тебя искать и пиво пить предлагать.

;_)

zy
...
Рейтинг: 0 / 0
12.08.2004, 17:50
    #32647482
А.Гpacoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
слава зы
про хмл,рсс есть ли у тебя какие-нибудь ссылки?


а что xml? чего там непонятного? ссылок нет, потому что
вдруг не идет если что-то - ввв.яндекс.ру как бы.

слава зы
буду ф питере, буду тебя искать и пиво пить предлагать.


ты сначала здесь найди http://www.sql.ru/forum/actualtopics.aspx?bid=51

может присоединишься - в питер народ собирается числах в 23-30.
...
Рейтинг: 0 / 0
13.08.2004, 09:41
    #32647994
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
слава зычета я не фкурил.

вы были клиентом,
информация в базе про ваших клиентов - ваша собственность....
Ты действительно не фкуришь. Особенностей там много и советов у меня итак вагон с тележкой.
...
Рейтинг: 0 / 0
13.08.2004, 09:57
    #32648017
Ruslan Ibraev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
А чё не всем суждено тебя пивом угощать? У меня нет правов на чтение топика авторслава зы

буду ф питере, буду тебя искать и пиво пить предлагать.



ты сначала здесь найди http://www.sql.ru/forum/actualtopics.aspx?bid=51

может присоединишься - в питер народ собирается числах в 23-30.
...
Рейтинг: 0 / 0
13.08.2004, 10:23
    #32648089
А.Гpacoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
здесь заявку оставь :)

http://www.sql.ru/forum/actualthread.aspx?tid=97362
...
Рейтинг: 0 / 0
13.08.2004, 20:36
    #32649474
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
Ещё вопросец есть, а если сервак общается сессиями - то как? (Про ИЕ 5.5 пропатченный уже слышал)
...
Рейтинг: 0 / 0
16.08.2004, 10:28
    #32650363
Javable
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
rimanЕщё вопросец есть, а если сервак общается сессиями - то как? (Про ИЕ 5.5 пропатченный уже слышал)

А подробнее? Что интересует? Если сервер идентифицирует сессию по сохраняемому cookie на стороне клиента - возьми этот cookie и отдавай каждый раз при запросе на сервер.
Если, конечно, это имелось в виду.
...
Рейтинг: 0 / 0
16.08.2004, 13:54
    #32650905
riman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как скачать информацию с сайта?
:). Вопрос снят, просто заморочил меня Грассоф своими кулхацкерными прогами.
Куки то действительно у меня есть, ниоткуда их тырить не надо. Спасибо всем.
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / Как скачать информацию с сайта? / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]