Регулярное выражение для анализа ссылок с веб-страницы?

Я ищу регулярное выражение .NET для извлечения всех URL-адресов с веб-страницы, но не нашел достаточно всеобъемлющего, чтобы охватить все различные способы указания ссылки.

И дополнительный вопрос:

Есть ли одно регулярное выражение, чтобы управлять ими всеми ? Или мне лучше использовать серию менее сложных регулярных выражений и просто использовать переходы Mutliple против необработанного HTML? (Скорость и ремонтопригодность)

8.08.2008 17:24:19
обязательная ссылка на stackoverflow.com/questions/1732348/…
RCIX 22.11.2009 09:25:39
9 ОТВЕТОВ
РЕШЕНИЕ
((mailto\:|(news|(ht|f)tp(s?))\://){1}\S+)

Я взял это с regexlib.com

[примечание редактора: {1} не имеет реальной функции в этом регулярном выражении; смотри этот пост ]

12
1.03.2018 01:18:18

Посмотрите на спецификацию URI. Это может вам очень помочь. А что касается производительности, вы можете в значительной степени извлечь все ссылки HTTP на скромной веб-странице. Когда я говорю скромно, я определенно не имею в виду одну страницу, включающую все руководства HTML, как руководство ELisp. Также производительность является деликатной темой. Я бы посоветовал измерить вашу производительность, а затем решить, собираетесь ли вы извлекать все ссылки, используя одно регулярное выражение или несколько простых выражений регулярного выражения.

http://gbiv.com/protocols/uri/rfc/rfc3986.html

2
8.08.2008 17:29:50

URL это? Как в изображениях / скриптах / CSS / и т.д.

%href="(.["]*)"%

0
17.08.2008 03:00:45

Это будет захватывать URL-адреса из всех тегов, пока автор HTML использует кавычки:

<a[^>]+href="([^"]+)"[^>]*>

Я сделал пример здесь .

0
8.08.2008 17:39:48

У меня нет времени, чтобы попытаться придумать регулярное выражение, которое, вероятно, не сработает, но я хотел бы прокомментировать, что вам следует определенно разбить это регулярное выражение, по крайней мере, если оно достигнет такого уровня уродства :

(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t]
)+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:
\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(
?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ 
\t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\0
....*SNIP*....
*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])
+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\
.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z
|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(
?:\r\n)?[ \t])*))*)?;\s*)

(это предположительно соответствует адресам электронной почты)

Редактировать: я даже не могу поместить это в один пост, это так противно ....

1
8.08.2008 17:35:16

Все HTTP и MAILTO

(["'])(mailto:|http:).*?\1

Все ссылки, в том числе относительные, которые называются href или src.

#Matches things in single or double quotes, but not the quotes themselves
(?<=(["']))((?<=href=['"])|(?<=src=['"])).*?(?=\1)

#Maches thing in either double or single quotes, including the quotes.
(["'])((?<=href=")|(?<=src=")).*?\1

Однако второй получит только ссылки, которые используют двойные кавычки.

2
8.08.2008 20:36:16

С Html Agility Pack вы можете использовать:

HtmlDocument doc = new HtmlDocument();
doc.Load("file.htm");
foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//a@href")
{
Response.Write(link["href"].Value);
}
doc.Save("file.htm");
4
10.04.2019 16:22:20

из библиотеки RegexBuddy:

URL: Найти в полном тексте

Последний класс символов гарантирует, что, если URL является частью некоторого текста, знаки препинания, такие как запятая или точка с полной точкой после URL, не интерпретируются как часть URL.

\b(https?|ftp|file)://[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|]

8
17.08.2008 03:00:34

в соответствии с http://tools.ietf.org/html/rfc3986

извлечение URL из любого текста (не только HTML)

(http\\://[:/?#\\[\\]@!%$&'()*+,;=a-zA-Z0-9._\\-~]+)
0
5.09.2012 16:22:08