storm/w3m
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Add examples of siteconf, set user_agent to Googlebot for Twitter

Browse Source
This commit is contained in:
Tatsuya Kinoshita
2020-12-19 13:20:49 +09:00
parent c23ed204ce
commit 1d967a4d42
2 changed files with 12 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

6
doc-jp/README.siteconf
View File

@@ -48,6 +48,12 @@ user_agent "Lynx/2.8.8dev.3 libwww-FM/2.14 SSL-MM/1.4.1"
Google に Lynx であると告げます。(これによりテキストブラウザ向けページが Google に Lynx であると告げます。(これによりテキストブラウザ向けページが
返ります) 返ります)
url m!^https?://([a-z]+\.)?twitter\.com/!
user_agent "Googlebot/2.1"
Twitter に Googlebot であると告げます。(これによりJavaScriptが無効の
ブラウザが拒否されずにページが返ります)
===== 正規表現について ===== ===== 正規表現について =====
次の正規表現はいずれも同じ意味を表します。 次の正規表現はいずれも同じ意味を表します。

6
doc/README.siteconf
View File

@@ -47,6 +47,12 @@ user_agent "Lynx/2.8.8dev.3 libwww-FM/2.14 SSL-MM/1.4.1"
Tell Google we're actually Lynx. (So they send us a text-browser friendly Tell Google we're actually Lynx. (So they send us a text-browser friendly
results page.) results page.)
url m!^https?://([a-z]+\.)?twitter\.com/!
user_agent "Googlebot/2.1"
Tell Twitter we're actually Googlebot. (So they send us a page without
rejection of a JavaScript disabled browser.)
===== Regular expressions notes ===== ===== Regular expressions notes =====
Following expressions are all equivalent: Following expressions are all equivalent: