Гость
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Как читать данные напрямую из Инета с HTML страничек? / 17 сообщений из 17, страница 1 из 1
09.01.2007, 23:46
    #34244277
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Извиняйте если не в тот форум попал.

Хочу попробовать читать данные напрямую в базу данных а потом смотреть статистику.

Предполагается что есть страничка, например http://sql.ru/forum/actualtopics.aspx?bid=61.
Каждое утро моя программа ходит на неё и скачивает все данные прямо в базу.

Киньте идею пожалуяста как это сделать, или может уже готовые примочки есть для этого?

Спасибо.
...
Рейтинг: 0 / 0
10.01.2007, 09:53
    #34244640
Damnedest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
на PHP считываете страницу и сохраняете ее в базу, в чем проблема? Или вы хотите сделать это средствами БД?
...
Рейтинг: 0 / 0
10.01.2007, 11:48
    #34245076
LINUXER
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Какой язык знаете?
можно почти на любом
...
Рейтинг: 0 / 0
10.01.2007, 16:17
    #34246194
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
ASP, CF, C++, VB

PHP к сожалению не знаю, если есть простые функции по запросу и сохранению, можете кинуть?
...
Рейтинг: 0 / 0
10.01.2007, 16:23
    #34246221
Damnedest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
А в какой базе собираетесь хранить и зачем обязательно в базе? Может проще в файликах?
...
Рейтинг: 0 / 0
10.01.2007, 18:18
    #34246667
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Можно и в файликах. Но никто потом не мешает прочитать эти файлики с диска и закинуть в базу SQL или MySQL.
...
Рейтинг: 0 / 0
10.01.2007, 20:08
    #34246890
Damnedest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
А почему желание хранить именно в базе данных?
...
Рейтинг: 0 / 0
10.01.2007, 23:16
    #34247155
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Это не принципиально.
...
Рейтинг: 0 / 0
10.01.2007, 23:18
    #34247157
Black
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Модератор: В какой форум перенести вопрос?
...
Рейтинг: 0 / 0
11.01.2007, 09:19
    #34247518
Damnedest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
SandalTreeЭто не принципиально.
Зато это может упростить задачу.
...
Рейтинг: 0 / 0
11.01.2007, 12:45
    #34248348
LINUXER
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
...
Рейтинг: 0 / 0
11.01.2007, 13:14
    #34248456
Green2
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
как то делал чтениестраниц в DTS на Sql Srver
sql server имеет возможность скачать страницу
но мне требовалась возможность разбора страницы
и обработка возможных ошибок
поэтому я использовал скрипт.

--



Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
11.01.2007, 17:58
    #34249786
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Даже и не предполагал что такое возможно. Можно поподробнее?
...
Рейтинг: 0 / 0
12.01.2007, 12:51
    #34251380
Green2
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
я сделал на sql server 2005

--



Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
13.01.2007, 23:45
    #34253823
SandalTree
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
Как делал-то? Я обыскался, но как создать DTS не нашёл.
...
Рейтинг: 0 / 0
14.01.2007, 16:07
    #34254180
Green2
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
2 SandalTree
В SQL Server 2005 для создания DTS придумали новую сущность, Integration
Service, в нем создаются эти задания.
Что то у меня DTS слетел, и я не могу запустить и просмотреть как делал :(
--



Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
14.01.2007, 16:19
    #34254191
Green2
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как читать данные напрямую из Инета с HTML страничек?
В общем надо запустить Development Studio
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
' Microsoft SQL Server Integration Services Script Task
' Write scripts using Microsoft Visual Basic
' The ScriptMain class is the entry point of the Script Task.
Imports System
Imports System.Data
Imports System.Math
Imports Microsoft.SqlServer.Dts.Runtime
Imports System.Net
Imports System.IO


Public Class ScriptMain
' The execution engine calls this method when the task executes.
' To access the object model, use the Dts object. Connections, variables, 
events,
' and logging features are available as static members of the Dts class.
' Before returning from this method, set the value of Dts.TaskResult to 
indicate success or failure.
'
' To open Code and Text Editor Help, press F1.
' To open Object Browser, press Ctrl+Alt+J.
Public Sub Main()
'
' Add your code here
'
Dim ch As Integer
Dim req As HttpWebRequest
Dim myProxy As New WebProxy
Dim newUri As New Uri("http://myproxy:8080")
Dim resp As HttpWebResponse
Dim istream As Stream
Dim varHttp, strUrl As String
strUrl = "http://" & CType(Dts.Variables("in_url").Value, String)
req = CType(WebRequest.Create(strUrl), HttpWebRequest)
myProxy.Address = newUri
myProxy.Credentials = New NetworkCredential("user", "password")
req.Proxy = myProxy
resp = CType(req.GetResponse(), HttpWebResponse)
istream = resp.GetResponseStream()
varHttp = ""
Do While True
ch = istream.ReadByte()
If ch = - 1  Then Exit Do
varHttp = varHttp & Microsoft.VisualBasic.Chr(ch)
Loop
resp.Close()
Dts.Variables("http").Value = varHttp
Dts.Variables("url").Value = strUrl
Dts.TaskResult = Dts.Results.Success
End Sub
End Class
где in_url - адрес, из которого производится чтение
http - Считанная страничка
url - фактически считанный url
--



Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Как читать данные напрямую из Инета с HTML страничек? / 17 сообщений из 17, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]