PythonTip >> 博文 >> python

【实习】暑期实习之python笔试题(一)

zihua 2014-01-20 23:01:00 点击: 782 | 收藏


近期忙于找一个暑期实习的公司,无奈个人水平实在太水,合适的公司也不是很多,笔试题目也积累了一些,整理一下好了。

公司 A

题目一:编写一个脚本main.py,使用方式如下:

main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html

功能要求:打开-u指定的页面,将页面中所有的链接后面增加参数a=1&b=2&c=3(需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。

题目二:编写一个 ab(Apache Benchmark)的替代程序,请尽可能的兼容 ab 你所认为重要的功能和参数。

题目三:

有配置文件有类似下面的配置:

http://m.sohu.com/c/5/|财经|200

http://m.sohu.com/|体育|200

http://m.sohu.com/n/346620805/|信号|200

编写一个脚本,要求如下:

1. 读取配置文件,对每一个url进行检查.

例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字,并且HTTP状态码是200, 否则报错。

2. 需支持并行的检查多个链接

Solutions:

我选做的是第一题和第三题。

第一题不难,主要解决的是打开某个url并遍历其中的所有链接,以前写爬虫的时候搞过这些东西就比较简单了,同时也涉及到了基本的I/O操作,考的还是比较基本的吧。比较生疏的是命令行参数问题,平时用的比较多但是自己貌似没实现过,趁这个机会也看了一下有关的问题,不过鉴于问题比较简单我就用了getopt解决了,其实有可以实现更加复杂的命令行参数的方法的。

有关的连接可以看一下这里: http://blog.csdn.net/jiang1013nan/article/details/5854378

代码如下:

 1 # _*_ coding: utf-8 _*_
 2 '''
 3 题目一:编写一个脚本main.py,使用方式如下:
 4 main.py -u http://www.sohu.com -d 'a=1,b=2,c=3' -o /tmp/index.html
 5 功能要求:打开-u指定的页面,将页面中所有的链接后面增加参数a=1&b=2&c=3
 6 (需要考虑链接中已经存在指定的参数的问题), 然后保存到-o指定的文件中。
 7 '''
 8 import urllib2
 9 import re
10 import sys,getopt
11 opts, args = getopt.getopt(sys.argv[1:],'hu:d:o:')
12 
13 def Tryurlopen(url,d,o):
14     d = getd(d)
15     patterns = re.compile('<a\s(?:.*?\s)*?href=[\'"](.*?)[\'"].*?>')
16     f = urllib2.urlopen(url)
17     contents = f.read()
18     m = re.findall(patterns, contents)
19     file = open(o,'w')
20     for ele in m:
21         #print ele
22         if '&' in ele or '?' in ele: #url后面有参数
23             ele += '&' + d
24         elif ele[-1:] == '/':
25             ele += d
26         else:
27             ele += '/' + d
28         file.writelines(ele + '\n')
29     file.close()
30 
31 def getd(d):
32     changeresult = ''
33     dtest = d.split(',')
34     for dele in dtest:
35         changeresult += dele + '&'
36     changeresult = changeresult[:-1]
37     return changeresult
38 
39 def main(argv):#利用getop模块实现基本的命令行参数处理
40     url = ''
41     d = ''
42     orietion = ''
43     for op, value in opts:
44         if op =='-u':
45             url = value
46         elif op == '-d':
47             d = value
48         elif op == '-o':
49             orietion = value
50 
51     Tryurlopen(url,d,orietion)
52 
53 if __name__ == '__main__':
54     main(sys.argv)
55 
56     

第二题时间原因我没有做,只是大体的了解了一下,有兴趣的同学可以参考一下的链接:

http://blog.csdn.net/jhonguy/article/details/7576155

第三题考察的有基本的I\O操作,对获得的URL内容的处理,返回的HTTP状态码可以分析header解决,以及用多线程读取同一文件,涉及到了锁与同步的问题,也没有特别偏的东西吧,看来公司都是比较注重基础知识的,唉自己基础这么不扎实怎么办,还要继续努力呀。

代码如下:

  1 # _*_ coding: utf-8 _*_
  2 '''
  3 题目三:
  4 有配置文件有类似下面的配置:
  5 http://m.sohu.com/c/5/|财经|200
  6 http://m.sohu.com/|体育|200
  7 http://m.sohu.com/n/346620805/|信号|200
  8 
  9 编写一个脚本,要求如下:
 10 1. 读取配置文件,对每一个url进行检查.
 11    例如http://m.sohu.com/c/5/, 这个url返回的结果应该包含"财经"两个字,并且HTTP状态码是200, 否则报错。
 12 2. 需支持并行的检查多个链接 
 13 
 14 '''
 15 import re
 16 import urllib2
 17 import threading
 18 from os.path import getsize
 19 import os,time
 20 rlock = threading.RLock() #锁
 21 curPosition = 0 #当前读取到的文件位置
 22 '''设计检查url的函数(完成)'''
 23 def TestUrl(line):
 24 
 25     m = line.split('|')
 26     url = m[0]
 27     tag = m[1]
 28     #print  tag
 29     f = urllib2.urlopen(url)
 30     statuscode = f.getcode()
 31     contents = f.read()
 32     if tag in contents and statuscode == 200:
 33         print 'The url %s is true'   %url
 34     else:
 35         print 'The url %s is wrong.' %url
 36 
 37 
 38 ''' 设计支持并行连接的程序'''
 39 
 40 class Resource(object):
 41     def __init__(self, fileName):
 42         self.fileName = fileName
 43         #分块大小
 44         self.blockSize = 1000
 45         self.getFileSize()
 46     #计算文件大小
 47     def getFileSize(self): #获取文件有多少行,即多少个url
 48         fstream = open(self.fileName,'r')
 49         fstream.seek(0,os.SEEK_END)
 50         self.fileSize = fstream.tell()
 51         fstream.close()
 52 
 53 class Reader(threading.Thread):
 54     def __init__(self, res):
 55         self.res = res
 56         super(Reader,self).__init__()
 57     def run(self):
 58         global curPosition
 59         fstream = open(self.res.fileName, 'r')
 60         while True:
 61             #锁定共享资源
 62             rlock.acquire()
 63             startPosition = curPosition
 64             if (startPosition + self.res.blockSize) < self.res.fileSize:
 65                 curPosition = endPosition = (startPosition + self.res.blockSize) 
 66             else:
 67                 curPosition = endPosition = self.res.fileSize
 68             #释放股共享资源
 69             rlock.release()
 70             if startPosition == self.res.fileSize:
 71                 break
 72             elif startPosition != 0:
 73                 fstream.seek(startPosition)
 74                 fstream.readline()
 75             pos = fstream.tell()
 76 
 77             while pos < endPosition:
 78                 line = fstream.readline()
 79                 #处理line
 80                 TestUrl(line)
 81                 pos = fstream.tell()
 82             fstream.close()
 83 
 84 
 85 
 86 if __name__ == '__main__':
 87     starttime = time.clock()
 88     #线程数
 89     threadNum = 4
 90     #文件
 91     fileName = '/Users/gixiaochen/Documents/config.log'
 92     res = Resource(fileName)
 93     #线程池
 94     threads = []
 95     #初始化线程
 96     for i in range(threadNum):
 97         rdr = Reader(res)
 98         threads.append(rdr)
 99     #开始线程
100     for i in range(threadNum):
101         threads[i].start()
102     #线程结束
103     for i in range(threadNum):
104         threads[i].join()

找实习的一点感受:

1. 扎实的基础知识+某一方面的特长才能有好的offer

2. 不管找不找得到,准备工作的同学都应该尽力去找,感觉找实习的时候自己提高的很多,多投几个公司多笔试面试几次,就会发现很多自己觉得不重要的东西还是很有必要牢牢掌握的,以前偷懒丢下的东西,以后都要一个个的捡起来。

3. 找实习的渠道很重要,我在微博上找了几个公司发了邮件去问基本上都收到回复了,时效性比较强。大街网上一堆HR很感兴趣的投递都没什么反馈,还是要转变思路吧。

原文链接:http://www.wumii.com/item/FQXk9ozl

作者:zihua | 分类: python | 标签: python | 阅读: 782 | 发布于: 2014-01-20 23时 |