Hallo zusammen,
ich wollte alle links einer Webseite auflisten. Leider hänge schon schon an elementaren Dingen. Von dotnetpearls fand ich ein Regex Code Beispiel, das ich gerne ausweiten wollte. Das u.g. Beispiel listet tatsächlich schon alle Links einer webseite, aber
einige Dinge klappen nicht. Daher habe ich ein paar Fragen:
a) Ich wollte nur einen Teil der Links auflisten. In dem Fall die Links die mit "/wiki/" beginnen. Mein code listet alles wenn nur wiki in der Textzeile steht
b) Ich möchte dann den Stringpart "/wiki/" vom String abschneiden. Das klappt so auch nicht.
c) Ich suche das richtige Anzeigeelement zur Darstellung der Links. Als ziel hätte ich gerne das ich in einer Liste alle verlinkten Texte aufliste, und diese mit dem Link hinterlegt belasse. Also im konkreten Beispile steht unter Wiki dort "Spanien"
und wenn ich drauf klicke solte sich der link öffnen. Im Grunde wie ein Browser, aber eigentlich möchte ich rekursiv nochmal das die gleich App aufrufen u. dann auch wieder alle Links listen.
Hier mein Code:
/*
* Created by SharpDevelop.
* User: A692517
* Date: 17.03.2016
* Time: 14:06
*
* To change this template use Tools | Options | Coding | Edit Standard Headers.
*/
using System;
using System.Collections.Generic;
using System.Drawing;
using System.Windows.Forms;
using System.Diagnostics;
using System.Net;
using System.Text.RegularExpressions;
namespace Srape
{
///
<summary>
/// Description of MainForm.
///
</summary>
public
partial class
MainForm : Form
{
public
MainForm()
{
//
// The InitializeComponent() call is required for Windows Forms designer support.
//
InitializeComponent();
//
//
TODO: Add constructor code after the InitializeComponent() call.
//
}
void
Button1Click(object sender,
EventArgs e)
{
// Scrape links from wikipedia.org
// 1.
// URL: http://en.wikipedia.org/wiki/Main_Page
WebClient w =
new
WebClient();
System.Net.WebRequest.DefaultWebProxy.Credentials
= System.Net.CredentialCache.DefaultNetworkCredentials;
//WebProxy wp = new WebProxy(" proxy server url here");
string s = w.DownloadString("http://en.wikipedia.org/wiki/Main_Page");
// 2.
foreach (LinkItem i
in
LinkFinder.Find(s))
{
//Debug.WriteLine(i);
listBox1.Items.Add(i);
}
Console.ReadLine();
}
public
struct
LinkItem
{
public
string Href;
public
string Text;
public
override string
ToString()
{
return
Href + "\t" +
Text;//\n
}
}
static
class LinkFinder
{
public
static List<LinkItem>
Find(string file)
{
List<LinkItem> list =
new
List<LinkItem>();
// 1.
// Find all matches in file.
MatchCollection m1 =
Regex.Matches(file,
@"(<a.*?>.*?</a>)",
RegexOptions.Singleline);
// 2.
// Loop over each match.
foreach (Match m
in m1)
{
string value = m.Groups[1].Value;
//listet nur links die mit "/wiki/" anfangen => FEHLER er listet alles auf wenn er nur "wiki" findet
string searchWithinThis = value;
string searchForThis =
"/wiki/";
int firstCharacter = searchWithinThis.IndexOf(searchForThis);
if(firstCharacter>0)
{
LinkItem i =
new
LinkItem();
{
// 3.
// Get href attribute.
Match m2 =
Regex.Match(value,
@"href=\""(.*?)\""",
RegexOptions.Singleline);
if (m2.Success)
{
i.Href = m2.Groups[1].Value;
}
// 4.
// Remove inner tags from text.
/* string t = Regex.Replace(value, @"\s*<.*?>\s*",
"",
RegexOptions.Singleline);
i.Text = t;
*/
//schneidet "serie/" vom Textstring ab=> FEHLER
// string Stg = i.Text;
// Stg.Replace("/wiki/","");
}
list.Add(i);
}
}
return list;
}
}
}
}
