読者です 読者をやめる 読者になる 読者になる

Googleさんの「Python Log puzzle Exercises」解いた

今日はエイプリルフールだけどずっと家でひきこもっていた僕には関係ありません。

それにしてもGoogle Mapはすごいですね!ドラクエ風に我が家もドットドットしてました。最近何かと批判されがちなGoogleさんですが、やはり高い技術力と遊び心は健在ですね。

ところでそのGoogleさんの作った「Python Log puzzle Exercises」はご存知でしょうか。これは、Google's Python Class というプログラミング初心者のためのPython講座の中にある演習問題です。

内容としては、正規表現やユーティリティなどの標準機能を使って解けるレベルのものばかりなのですがそこは遊び心のGoogleさん、なかなかオモシロイ問題をつくってくれています。

ここではその中でもひとつだけ紹介します。


Python Log puzzle Exercise」

これは大量のサーバの履歴から細長い画像のURLを抽出して決められたソート方法で並べ、1つの画像にするというものです。
細長い画像というのが少しイメージしずづらいと思うのですが、1枚の写真を縦長に300枚くらいに裂いていき、その裂いた1枚1枚が単体のファイルとして存在しているといった感じです。詳しくはこちらの問題文を読んだ方がわかるかと思います。

なにはともあれ僕なりの解答を。(ちなみにこれは問題のCの場合です。A、Bはこれより簡単です。)

logpuzzle.py

#!/usr/bin/python
# Copyright 2010 Google Inc.
# Licensed under the Apache License, Version 2.0
# http://www.apache.org/licenses/LICENSE-2.0

# Google's Python Class
# http://code.google.com/edu/languages/google-python-class/

import os
import re
import sys
import urllib
import urlparse
"""Logpuzzle exercise
Given an apache logfile, find the puzzle urls and download the images.

Here's what a puzzle url looks like:
10.254.254.28 - - [06/Aug/2007:00:13:48 -0700] "GET /~foo/puzzle-bar-aaab.jpg HTTP/1.0" 302 528 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6"
"""


def read_urls(filename):
  """Returns a list of the puzzle urls from the given log file,
  extracting the hostname from the filename itself.
  Screens out duplicate urls and returns the urls sorted into
  increasing order."""

  urllist = []
  ufile = urllib.urlopen(filename)
  text = ufile.read()
  match = re.findall("GET\s(\S+/\w+-\w+-)(\S+)\sHTTP",text)
  paths = sorted(match,key=lambda x:x[1])
  for path in paths[2:]:
  	mrg_path = path[0]+path[1]
  	url = urlparse.urljoin("http://code.google.com",mrg_path)
  	urllist.append(url)
  return urllist


def download_images(img_urls, dest_dir):
  """Given the urls already in the correct order, downloads
  each image into the given directory.
  Gives the images local filenames img0, img1, and so on.
  Creates an index.html in the directory
  with an img tag to show each local image file.
  Creates the directory if necessary.
  """

  if not os.path.exists(dest_dir):
  	os.mkdir("placedir")
  try:
  	i = 0
  	f = open("placedir/index.html","w")
        f.write('<html><body>\n')
  	abspath = os.path.abspath(dest_dir)
  	print "Downloading..."
  	for img_url in img_urls:
  		imgname = "img" + str(i)
  		img_dir = os.path.join(abspath,imgname) 
  		urllib.urlretrieve(img_url,img_dir)
  		imgtag = "<img src='"+imgname+"'>" 
  		f.write(imgtag)
  		print img_url + " ->OK"
  		i += 1
        f.write('</body></html>')
  	f.close()
  except IOError:
  	print "Oh~Error"
  print "Finised!"


def main():
  args = sys.argv[1:]

  if not args:
    print 'usage: [--todir dir] logfile '
    sys.exit(1)

  todir = ''
  if args[0] == '--todir':
    todir = args[1]

  img_urls = read_urls(args[2])

  if todir:
    download_images(img_urls, todir)
  else:
    print '\n'.join(img_urls)

if __name__ == '__main__':
  main()

苦労したのは正規表現でマッチさせたファイルパスの2番目を昇順にソートしなければいけなかったところ。Bの問題ではマッチしたURLをそのままソートさせればよかっただけなんですが、Cの問題ではマッチしたURLにも手を加えなければならなりません。ゴリ押しすればいくらでもできるんですが、それでは意味ないなと思いしばらく悩みました。結果としては、2箇所を正規表現でマッチさせ、findallにタプルで挿入。そしてそのタプルの2つ目を基準にkeyでlambdaを指定し、sorted関数を用いて解決しました。

技術的にはファイル操作とかurllib使ったりだとか簡単なことばかりなんですけどいい具合に頭を使えていいですね。おすすめです。

Google's Python Class
Python Log puzzle Exercises


PS
今日実家にもう使わなくなったデスクトップを送ったのですがエロ動画フォルダの削除を忘れていたことに気づいて焦ってます。