勝手にあんどろいどＺ: Androidのブラウザを高速化する(外部プロクシ)

まー、きっかけは、ウザいバナー抑止だったんだが。

Webのフィルタリングの為に、自宅PCにPROXYサーバーを立てる事にした。
せっかくなんで、フィルタリングだけではなく、他の弱点も補強しよう。

Android側の設定は前回の記事を読めし。

今回補強するのは、フィルタリング、キャッシュ、プリフェッチだ。

フィルタリングには、Proxomitronを使う。日本語パッチが当たったバージョンが公開されている。
コイツ、最強。
URLフィルタなんて序の口。さまざまな不要なスクリプトも消して、改ざんされたWebページを見せてくれる。改ざんされすぎて、まともに表示されないページも出てくるが、一つ毎、フィルタを外し、ページの見え具合を調節しろし。
ま、最悪の場合、バイパスリストにURLを追加すりゃいい。
詳細は、十年以上前から、色んな人が解説してる。グぐれし。

キャッシュはBlackJumboかSquidあたりかな。
Androidのブラウザは劣化の少ない大容量ストレージを無いため、大きなキャッシュが取れない。
一度読み込んだWebページを2回目以降、１回目の読み込み結果を再利用する機能だ。
自宅プロクシにキャッシュを持たせると、Android側の通信量は変わらないが、応答速度が早くなる。

プリフェッチはPROXY伝説ぐらいかな。コイツはキャッシュもあるけど、設定がブラックボックスすぎ。長時間動作安定性も不安なんで、おっちゃんはWebBoosterNinjaなる１３年前の市販ソフトを使っている。

しかし、、プリフェッチって、モラル的にダメな技術だよな。。。。。。

さて、ここまでは割と当たり前の話。

WebはHTTPとHTTPSの両方のプロトコルで構成されてるが、Windowsのブラウザなら、それぞれ別のプロクシを設定できる。用意したプロクシがHTTPSを処理できないのなら、HTTPのみプロクシ設定すりゃいい。…が、Androidは両方同じポートで処理しなくてはいけない。
少なくとも、ProxyDroidを使う場合は同ポートだ。

HTTPSはProxomitronでフィルタリングしてしまうと、ブラウザ側でエラーが発生してしまう。
Proxomitronの[CONFIG]-[HTTP]画面で「Use SSL…」のチェックを外せば、HTTPSをフィルタリングせず、スルーしてくれるのだが、それは上位のプロクシに渡される。
上位プロクシがHTTPSを処理できなければ、ここで拒否され、エラーになる。

多段串構成では、トラフィックを減らすためProxomitronは最上位に配置したい。

フィルタリングされる前のHTMLを元にプリフェッチが動くと、無駄なトラフィックが増える事となる。

又、キャツシュの下位にプリフェッチがあると、不用な確率が高いプリフェッチでキャツシュが消費される事となる。

つまり、上段(インターネット)側からフィルタリング、プリフェッチ、キャッシュの順に配置することになり、Androidと接続される最下段のプロクシはsquid(キャッシュ)になるわけだ。

都合がいい事に、squidは上位プロクシを指定していても、上位プロクシ経由で接続出来ない場合、直接接続しデータを取得する。

squidの設定の注意点

squidはVer2.7のSSL対応版の方をダウンロードしろし。

squid.confは、

・http_port,https_portは、同じ値で、プロクシとして公開するものを設定する。

・上位プロクシのポートはcache_peerに設定

ex.

cache_peer 127.0.0.1 parent 8081 0 no-query default

※IPC(プロクシ間問い合わせポート)はないので0番"no-query"

・never_direct allow all は設定しない。SSL(HTTPS)をsquid自身に取得させる為

・Access deny のエラーが出るならhttp_access deny allをhttp_access allow allに変えろし。

・Android版Chromeの設定で「データ使用量を節約」をOnにしているとProxyが無効になる。

プロクシを通すので、もっさりとした表示になるが、極端に遅いページが無くなるぞ。

2015/1/25

Proxomitronの設定変更だが、敷居が高いようなので、ポイントだけ書いておくぞ。

・標準で設定されているフィルターは誤爆するぞ
　default.cfgにフィルターが記述されてるが、”Match = "<start>"”が記載されたフィルターは誤爆するので、すべてFalseに設定するか、default.cfgから削除しろし。
　あまりにも乱暴な書き換えしてるから、Web表示が壊れまくる。

・Proxomitronの調整をするときは、多段串はやめろし。Proxomitronのみを使い、串サーバのWebブラウザとリモート接続のAndroid両方で見栄え確認だ。

・Proxomitronの調整をするときは、ProxomitronのGUIで操作するとフリーズすることが多々ある。
外部エディタでdefault.cfgを直接編集し、設定反映/保存のボタンを押して設定変更しろし。

・外部エディタの代わりにWinMergeを使うと便利。バックアップのdefault.cfgと動作環境のdefault.cfgを比較しながら編集できる。

・フィルタの記載中に日本語は入れられない。UTF8とSJISそれぞれにエンコードした文字で日本語を書く。"proxomitron 日本語フィルタ"でググれば、それらしいアプリが見つかるが少なくてもWindows8.1環境では不具合がある。だまして使えば何とかなるが。

オッチャン設定中のdefault.cfgのフィルター部分だ。先頭６個はオリジナルで、まとめサイトのアフィリエイト広告対策。

[Patterns]
Name = "koukokuSJ"
Active = TRUE
Limit = 2048
Match = "*"
Replace = "\@"

Name = "koukokuUTF"
Active = TRUE
Limit = 2048
Match = " *"
Replace = "\@"

Name = "ads class in div"
Active = TRUE
Limit = 2048
Match = "<div (class|id)=\"(plugin-ad|ad|ads)*</div>
"
Replace = "\0"

Name = "ad class in div"
Active = TRUE
Limit = 2048
Match = "<div id=\"ad*</div>
"
Replace = "\0"

Name = "ads.js in script"
Active = TRUE
Bounds = "<script *</script>"
Limit = 2048
Match = "src=\"[^\"]+ads[a-z_0-9]*.js\""
Replace = "\0"

Name = "kill url in script"
Active = TRUE
Bounds = "<script *</script>"
Limit = 2048
Match = "$LST(AdList)"
Replace = "\0"

Name = "Banner Replacer"
Active = FALSE
Multi = TRUE
Bounds = "<a\s[^>]++href=*</a>"
Limit = 800
Match = "\0<img (\1border=\w|) \2 src=$AV(*) (\3border=\w|) \4"
        "&(*(src|href)=$LST(AdKeys)|"
        "(*width=[#460-480] & *height=[#55-60])|"
        "(*width=[#88] & *height=[#31]))*"
Replace = "\0<img \1 border=1 \2 src=http://Local.ptron/killed.gif \3 \4"

Name = "Banner Blaster (limit text)"
Active = FALSE
Multi = TRUE
Bounds = "<(a\s[^>]++href=*</a>|input*>|layer*>)"
Limit = 900
Match = "(<layer*|\1<i(mg|mage|nput)*src=$AV(*)*>\3)"
        "&(*(href|src)=$AV($LST(AdKeys)*)|"
        "*http://*<i(mg|mage|nput)\s(*>&&"
        "(*width=[#460-480]&*height=[#55-60]*)|"
        "(*width=[#88]&*height=[#31]*)))"
        "&(*alt=$AV((?+{18})\2*|\2)|$SET(2=Ad))"
Replace = "<center>
\1<font size=1 color=red>[\2]</font>\3</center>
"

Name = "Banner Blaster (full text)"
Active = TRUE
Multi = TRUE
Bounds = "<(a\s[^>]++href=*</a>|input*>|layer*>)"
Limit = 900
Match = "(<layer*|\1<i(mg|mage|nput)*src=$AV(*)*>\3)"
        "&(*(href|src)=$AV($LST(AdKeys)*)|"
        "*http://*<i(mg|mage|nput)\s(*>&&"
        "(*width=[#460-480]&*height=[#55-60]*)|"
        "(*width=[#88]&*height=[#31]*)))"
        "&(*alt=$AV(\2)|$SET(2=Ad))"
Replace = "<center>
\1<font size=1 color=red>[\2]</font>\3</center>
"

Name = "Area Map Ad Blaster pt2 (show all links)"
Active = TRUE
Multi = TRUE
Bounds = "<killmap>*</killmap>"
Limit = 800
Match = "\1 <area (*href=(\w)\2 & (*alt="(?+{12})\3*|\3'|))*> \4"
Replace = " \1 <font size=1><a href=\2 >[\3]</a></font> \4 "

Name = "Kill specific Java applets"
Active = FALSE
Bounds = "<applet\s*</applet>"
Limit = 2048
Match = "*code=$AV((scroll|NavigatorTicker|movie|WSSApplet|hyper).*)*"
Replace = "<font size=1>[JavaApp Killed]</font><br>"

Name = "Flash animation killer"
Active = FALSE
Bounds = "<object*</object>"
Limit = 1024
Match = "[^>]++codebase=$AV(*macromedia.com*flash*)*"
        "<param ( name=$AV(movie|src)| value=$AVQ(\1))+{2}*"
Replace = "<a href=\1>[flash]</a>"

Name = "Counter Killer"
Active = FALSE
Bounds = "<img\s*>"
Limit = 256
Match = "\1 src=$AV(*(count(er|.pl)|stat|tracker)([^a-z]*|(^?))) \2"
Replace = "\1 src=http://Local.ptron/killed.gif border=1 \3"

Name = "Kill off-site Images"
Active = FALSE
Multi = TRUE
Bounds = "<(a\s[^>]++href=*</a>|i(mg|nput)\s*>)"
Limit = 800
Match = "\1<i(mg|nput)(*alt="\0"|)*>\2&*http://(^\h)"
        "&(^*(width=[#0-75]|height=[#0-20]))"
Replace = " \1<font size=1>[\0]</font>\2"

Name = "Kill all Images on selected pages"
Active = FALSE
URL = "$LST(NoImages)"
Bounds = "<i(mg|mage|nput)*>"
Limit = 256
Match = "\1src=$AV(*)\2&(^*height=[#3:16])"
Replace = "\1 border=1 "
          "src="http://Local.ptron/killed.gif" \2"

Name = "Webpage Background Killer"
Active = TRUE
Multi = TRUE
Limit = 200
Match = "<body \1background=\2>"
Replace = "<body \1nobak=\2>"

Name = "Webpage Background Replacer"
Active = FALSE
Multi = TRUE
Limit = 200
Match = "<body ( \1 background=\w|) \2>"
Replace = "<body \1 background="http://Local.ptron/black.gif" \2>"

Name = "Kill All Backgrounds (even tables)"
Active = FALSE
Limit = 20
Match = "background(=|-image:)\1"
Replace = "nobak\1"

Name = "Sounds to links"
Active = FALSE
Bounds = "<(embed|bgsound)\s*>"
Limit = 1024
Match = "[<a-z]+ (*qtsrc|*src)=$AVQ(\1)&(*type=$AV(\2)|$SET(2=AV-Killed))*"
Replace = "<a href=\1 >[\2]</a>"

Name = "Sound Silencer"
Active = FALSE
Limit = 20
Match = "<(embed|bgsound)\s"
Replace = "<keepquiet "

Name = "Embedded MIDI Silencer"
Active = FALSE
Bounds = "<embed\s*>"
Limit = 256
Match = "*src=$AVQ(\1)*&*(.mid|midi)"
Replace = "<embed src=\1 height=15 controls=smallconsole  >"

Name = "Blink Buster (Blink to Bold)"
Active = FALSE
Limit = 20
Match = "<(/|)\1blink>"
Replace = "<\1b>"

Name = "Freeze font's face"
Active = FALSE
Limit = 80
Match = "<font\s\1face=\2>"
Replace = "<font \1ecaf=\2>"

Name = "Onload unloader"
Active = TRUE
Limit = 20
Match = "onload="
Replace = "LoadOff="

Name = "OnUnload unloader"
Active = FALSE
Limit = 20
Match = "onunload="
Replace = "UnLoadOff="

Name = "Restore pop-ups after a page loads"
Active = TRUE
Limit = 4096
Match = "<end>"
Replace = ""
          "<script>"
          "if(document.layers){document.captureEvents(Event.MOUSEUP);}"
          "document.onmouseup=PrxOMUp;"
          "</script>\r\n"

Name = "Wordwrap all form textboxes"
Active = TRUE
Bounds = "<meta\s*>"
Limit = 128
Match = "<textarea\s\1>"
Replace = "<textarea wrap=soft \1>"

Name = "GeoCities branding killer"
Active = TRUE
URL = "*.geocities."
Limit = 2500
Match = "<div class="geobranding*</script>
"
Replace = "<font size=1>[GeoBrand killed]</font>"

Name = "Kill add-on JavaScripts "
Active = FALSE
Multi = TRUE
Limit = 1024
Match = "</html>\1$NEST(<script,</script>)"
Replace = "<font size=1>[PostScript Killed]</font><br>\r\n"
          "</html>\1\r\n"

Name = "Stop JavaScript Redirects"
Active = FALSE
Limit = 30
Match = ".location(=|.)\1"
Replace = ".NoLocation\1"

Name = "Disable JavaScript"
Active = FALSE
Limit = 128
Match = "<script*>"
Replace = "<script language="ShonenScript 712.0">"

Name = "Disable JavaScript (and meta) cookies"
Active = TRUE
URL = "(^$LST(CookieList))"
Limit = 128
Match = ".cookie(*[(;)=])\1|http-equiv="Set-Cookie""
Replace = ".Cracker\1"

Name = "Hide Browser's Referrer from JS"
Active = FALSE
Limit = 15
Match = ".referrer"
Replace = ".referrer.substr(0,0)+"\u""

Name = "Hide Browser's Version from JS"
Active = FALSE
Limit = 25
Match = "navigator.appVersion"
Replace = "'2.1'"

Name = "Hide Browser's Identity from JS"
Active = FALSE
Limit = 25
Match = "navigator.(appName|userAgent)"
Replace = "'ShonenScape'"

Name = "Allow right mouse click"
Active = TRUE
Limit = 256
Match = ".(onmousedown=|captureEvents\()\1"
Replace = ".PrxOff_\1"

Name = "Kill window.external methods"
Active = FALSE
Limit = 40
Match = "window.external.[^(]+"
Replace = "null; "

Name = "Stop OnMouseOver events"
Active = FALSE
Limit = 20
Match = "onmouseover="
Replace = "OnPheasantOver="

Name = "Frame Jumper-Outer"
Active = TRUE
Multi = TRUE
Bounds = "<a\s*>"
Limit = 128
Match = "<a\s(\0http://\1&(^*_(top|blank)))"
Replace = "<a target=_top \0http://\1"

Name = "Kill Style Sheets"
Active = FALSE
Limit = 4096
Match = "<style*</style>"
Replace = ""

Name = "Kill Layers"
Active = FALSE
Limit = 20
Match = "<(/|)\1(i|)layer"
Replace = "<\1PeelLayer"

Name = "iFrame/iLayer to link"
Active = FALSE
Bounds = "<i(frame\s*</iframe|layer\s*</ilayer)>"
Limit = 1000
Match = "<(iframe|ilayer)\0*src=$AVQ(\1)*"
Replace = "<font size=1><a target=_blank href=\1 >[\0]</a></font>"

Name = "Kill top of page frame"
Active = TRUE
Multi = TRUE
Bounds = "<frameset\s*>"
Limit = 150
Match = "\1 rows=$AV([#20:90] , (\*|100%) ) \3"
Replace = "\1 rows="0,*" \3"

Name = "Kill bottom of page frame"
Active = TRUE
Multi = TRUE
Bounds = "<frameset\s*>"
Limit = 150
Match = "\1 rows=$AV(\* , [#10:100] ) \3"
Replace = "\1 rows="*,0" \3"

Name = "Allow for frame resizing"
Active = TRUE
Bounds = "<fram*>"
Limit = 256
Match = "(\#((frameborder|border)=$AV(*)|noresize|=$AV(0|no)$SET(\#==1 )))+ \1 >"
Replace = "\@\1 border=1>"

Name = "DeFramer"
Active = FALSE
Limit = 40
Match = "<(/|)\1(frameset|noframes)"
Replace = "<\1NoFrameset"

Name = "Convert Frames to Links"
Active = FALSE
Bounds = "<frame\s*>"
Limit = 256
Match = "*src=("*'|\w)\1*"
Replace = "<body><font size=2><a href=\1>Frame:\1</a></font><br></body>"

Name = "DeTabler"
Active = FALSE
Limit = 200
Match = "<(/|)t(able|r)*>"
Replace = "<p>
"

Name = "Table width unlimiter"
Active = FALSE
Bounds = "<t(able|td)\s*>"
Limit = 256
Match = "\0 width=[#500:*] \1"
Replace = "\0 \1"

Name = "Skinnier Table Border"
Active = FALSE
Limit = 128
Match = "<table\s\1border=[#4-*]\2>"
Replace = "<table \1border=3\2>"

Name = "Kill anti-cache meta tags"
Active = FALSE
Limit = 40
Match = "<meta http-equiv=("|)\#(expires|Last-Modified|pragma|cache)\#"
Replace = "<moota http-ignore=\@"

Name = "Webpage Comment Viewer"
Active = FALSE
Bounds = "( </script>|)"
Limit = 256
Match = "(^ </script)"
Replace = "<font size=1><pre></pre>
</font>"

Name = "Foreign content-type filter"
Active = FALSE
Bounds = "<meta\s*>"
Limit = 256
Match = "*http-equiv="content-type"*charset=*"

Name = "Add Link sub-filter"
Active = TRUE
URL = "^*.((p|)jp(e|g|eg)|gif|png|bmp)"
Bounds = "ref=([^h]|h(^ref))++< / a >|< title >*< / title >|< textarea*>*< / textarea >|\s(content|value|alt|title|standby|label|summary|abbr)="(^ [0-9]+{1,*}[^>]++url=)[^"]++""
Limit = 20000
Match = "(([^>]++>|\s[a-z]+{1,*}=")( <[^>]++>)+{0,3}([^<>]|<br>)++(.[a-z]+{2,3}|[#1-255].([#0-255].)+{2}[#1-255])(:[#1-65535]|)[.@\-_]+)\1(<addlink-dummy>|</a dummy="">(/[^<>]+|)\3</a>$SET(9=</a>\3)|)(^[0-9a-z])\2"
Replace = "\1\9\2"

で、コイツがブロックリスト。URL Killfile.txtの一部だ。上のフィルタでも使用している。

勝手にあんどろいどＺ

2015年1月22日木曜日

Androidのブラウザを高速化する(外部プロクシ)

0 件のコメント:

コメントを投稿