おはようございます。
以下のような記述で、WEB上のデータを取得しようとしているのですが、かなりの頻度で
WEBページからソースが取得できません。
'Webページのソースを読み込むプロシージャ
Public Function GetWebPageSource(ByVal URL As String, ByRef source As String, _
ByVal charcode As String) As Boolean
Dim Request As WebRequest
Dim Response As HttpWebResponse
Dim DataStream As Stream
Dim Reader As StreamReader
Try
'指定されたURLへのリクエストを生成する
Request = WebRequest.Create(URL)
'レスポンスを得る
Response = CType(Request.GetResponse(), HttpWebResponse)
'データストリームを得る
DataStream = Response.GetResponseStream()
'Webページのソースを読み出すためのストリームリーダーを生成する。
Reader = New StreamReader(DataStream, Encoding.GetEncoding(charcode))
'WEBページのソースを読み出す
source = Reader.ReadToEnd
'後始末をする
Reader.Close()
DataStream.Close()
Response.Close()
'戻り値を返す
GetWebPageSource = True
Catch ex As Exception
GetWebPageSource = False
End Try
End Function
Public Sub Get_New_Dailydata()
Dim Source As String = ""
Dim Result As Boolean
Dim r As Regex
Dim Regsource As String
Dim m As Match
Dim i As Integer 'ループ変数
Dim j As Integer
Dim Writer As New IO.StreamWriter("C:\DailyData.txt", True)
Dim StartCode As Integer
Dim EndCode As Integer
Dim Zenjituhi As Integer
Dim Zenjituhi_Temp As String
'カウンター表示ラベルのテキストを削除
'lbl_Counter.Text = ""
'銘柄数を格納する配列
Dim StockCode As String
StartCode = 1300
EndCode = 9999
'1300～9999までのすべての銘柄をチェックし、該当するものをテキストファイルに書き込み
For i = StartCode To EndCode Step 50
StockCode = ""
'取得する銘柄コードのリストを作成
For j = i To i + 49
If StockCode = "" Then
StockCode = j
Else
StockCode = StockCode & "+" & j
End If
If j = EndCode Then
Exit For
End If
Next
'株価データを読み込む
Result = GetWebPageSource("http://quote.yahoo.co.jp/q?s=" & StockCode & _
"&d=v2", Source, "EUC-JP")
If Result = False Then
MsgBox("株価データの取得に失敗しました。")
Exit Sub
End If
'正規表現で株価等のデータを検索する。
Regsource = "<td nowrap align=left><a href=.*?>(.*?)</a></td><td nowrap align=left>" _
"<small><img src=.*? alt=.*? width=20 height=15 align=absmiddle>" _
"<b>(.*?) </b></small></td><td nowrap align=center>(.*?)</td>" _
"<td nowrap><b>(.*?)</b></td><td nowrap>(.*?)</td><td nowrap>(.*?)</td>" _
"<td nowrap>(.*?)</td><td nowrap>(.*?)</td><td nowrap>(.*?)</td><td nowrap>(.*?)</td>"
r = New Regex(Regsource)
m = r.Match(Source)
'テキストファイルに日足のデータを書き込みする。
While m.Success
Zenjituhi_Temp = Replace(m.Groups(5).Value, "<font color=ff0020>", "")
If Replace(Zenjituhi_Temp, "</font>", "") = "---" Then
Zenjituhi = 0
Else
Zenjituhi = Replace(Zenjituhi_Temp, "</font>", "")
End If
Writer.WriteLine(m.Groups(1).Value & " " & m.Groups(2).Value & " " & _
m.Groups(8).Value & " " & m.Groups(9).Value & " " & m.Groups(10).Value & " " & _
m.Groups(4).Value & " " & Zenjituhi & " " & m.Groups(7).Value)
m = m.NextMatch
End While
'現在の進行状況をカウンターに表示
My.Application.DoEvents()
frm_menu.lbl_Counter.Text = i & "件終了 ／ " & EndCode & "件中"
Next
Writer.Close()
End Sub
こちらはモジュールに記述をしてあり、フォームのコマンドボタンクリックにて実行するようにしてあります。
できる場合もあるのですが、できないことが多く、できない場合は、「GetWebPageSource」で
起こっているようです。
自分でも、調べている最中ですが、何か原因となるようなことがありましたら、ご教授いただけませんでしょうか。
どうか、よろしくお願いします。
