Posts Tagged ‘python’

发布一个Django的论坛系统LBForum（开源、带演示）

二 26, 2010 vicalloy的庄家, 编程

简介

LBForum 用django开发的论坛系统，演示地址为：http://vik.haoluobo.com/lbforum/
项目的地址为：http://github.com/vicalloy/LBForum
界面部分抄的 FluxBB(一个开源的PHP论坛 http://fluxbb.org/ )。
虽然Django写的论坛也不少，不过还真没什么好用的。
大多Django论坛都是独立的app，而且不少还缺模板，想我这样有经验的Django用户要跑起来都觉得麻烦，其他普通用户就更别说了。
LBForum主要注重部署的方便性和易用性，功能方面目前还比较简单。
LBForum一开始就是以整站的形式提供，所以以LBForum做为基础项目进行二次开发是很容易的。
同时LBForum的开发尽量遵照Django可复用app原则，因此即使需要将LBForum做为独立的app集成到其他项目也并不会太难。

主要功能

目前功能还比较简单，而且还有些小问题有待修正。

  1. 论坛分类，分版块
  2. 发帖，回帖
  3. BBCode支持
  4. 置顶贴
  5. 使用django admin提供论坛管理功能

用开发服务器把LBForum跑起来

  1. 先把代码down下来。LBForum托管在github上，http://github.com/vicalloy/LBForum 。如果你没有安装git，你可以直接用界面右上方的download
    source功能下载代码。
  2. 运行\scripts\create_lbforum_env.py初始化lbforum的python虚拟环境。该脚本会自动创建一个python的虚拟环境并使用easy_install安装对应的依赖包，同时将一些依赖包解压到对应的目录中。
    注：django使用的是svn版本，所以机器上必须要安装有SVN，不然脚本会运行失败。如果因为由于svn的问题导致脚本运行失败，可以运行lbforum_env.bat进入lbforum环境，手动安装django的svn版本。
  3. 环境初始化好后，运行lbforum_env.bat进入lbforum环境
  4. 运行%mg% syncdb初始化数据库
  5. 运行%mg% runserver启动django开发服务器
  6. 进入admin，创建论坛分类和版块
  7. 进入版块发帖

LBForum的目录结构说明

|+lbforum_env/#lbforum运行的python虚拟环境，运行create_lbforum_env.py后自动创建
|+requirements/#lbforum用的第三方库和app，运行的时候会将该目录加到python路径
|~scripts/#工程相关脚本
| |-create_lbforum_env.py#初始化python虚拟环境，并自动安装easy_install/django依赖库
| |-helper.py#提供其他脚本所需的辅助函数
| `-lbforum_env.bat*#启动lbforum运行的虚拟环境及，并为lbforum的manage.py提供快捷方式%mg%，比如初始化数据库%mg%
syncdb
|~sites/#站点配置/模板/静态文件
| `~default/#默认站点
|   |+static/#静态资源文件，如css等
|   |+templates/#Django模板目录
|   |+templates_plus/#Django模板目录，用户将自己重写过的目标放到该目录
|   `-……
|~src/#django的app目录
| |+account/#account相关app。具体站点通常会对用户中心进行定制，所以该app在实际应用中很可能需要针对实际情况进行修改。
| |+djangohelper/#一些django的辅助函数等，
| |+lbforum/#lbforum的主app，论坛功能都在改app中
| |+lbregistration/#registration app的lbforum扩展，主要去掉邮件地址认证功能
| |+onlineuser/#显示在线用户的app（可复用的django app，可脱离lbforum单独使用）
| `+simpleavatar/#头像功能的app（可复用的django app，可脱离lbforum单独使用，依赖djangohelper）
|+tools/#工程用到的辅助工具，目前只有一个virtualenv的脚本

注：

  1. 由于计划在以后做i18n，所以目前只提供英文界面
  2. django的错误提示是显示在字段后面，fluxbb的错误全部都显示在表单前面。由于模板没有调好，所以目前按照fluxbb的方式显示错误，所以错误显示有些不太正常。
  3. bbcode的输入框本想做成自适应大小的，不过也调得有些问题，所以现在输入框的大小固定。
  4. 文档… ，感觉好难写-_-，目前文档不全（项目中没有带任何的文档），日后补上。
  5. 应用程序的目录结构主要查看pinax
  6. simpleavatar模块部分代码来自django-avatar
  7. 依赖包除用easy_install在线安装的外，尽量使用zip包的方式附带在项目中，减少安装依赖包的困难。
  8. 远程部署脚本计划使用fabric，但fabric本身安装比较麻烦，所暂未处理。
  9. 项目最早放在googlecode，不过感觉github的功能更强些，所以移了过去。

Tags: , ,

SourceForge使用Python、TurboGears、MongoDB……来重构网站

二 22, 2010 编程

pycon2010上关于SF网站重构的演讲，里面介绍了SF重构的技术选型及原因。在我看来SF用的东西还真的很GEEK。

主要用到的技术有Python、TurboGears2、MongoDB、Jinja*、RabbitMQ，服务器用的是LigHTTPd和Nginx。

  • TurboGears2（为什么不的Django？）
    pdf中也有谈到此前也用到过django，而且有很不错的体验，但对SF的改造来说TG更为合适。SF有着上10年的历史，要完全抛弃原有的东西自然不现实，此次的网站重构并不是完全的重写。TG可以很容易的剥离掉不需要用到的东西，同时TG可以很好的同其他WSGI中间件配合工作。
  • MongoDB
    MongoDB是一个非关系的分布式数据库(NoSQL数据库)，最大的优势快。由于这东西足够快，所以连web2.0网站常用的memcached也省掉了。(注：NoSQL数据库介绍可以参考 NoSQL数据库探讨之一 － 为什么要用非关系数据库)
  • Jinja*
    Django的模板很棒，但速度不怎么快，而且完全不支持任何嵌入式代码。Jinja和Django的模板长得非常的象，而且解决了上面的两个问题。（注：文档里说前台用的是PHP，所以不清楚是否有部分用到Jinja）
  • RabbitMQ
    用Erlang写的中间件，进行前后台的消息通信。SF的前台界面呈现，依旧使用的PHP，前后台通信用的就是这东西。

Tags: ,

Whoosh性能

二 8, 2010 编程

早些时候就在google到Whoosh和xapian的性能对比文章，只是由于文章被墙，今天才翻墙看到。

文章是xapian作者写的。就文章里的对比结果来看，whoosh和xapian的性能差距还是比较明显。索引和搜索的速度有近4倍的差距，在full cache情况下的性能差距更是达到了60倍。

除算法原因外，whoosh的纯python定位也决定了whoosh很难达到其他c/java的搜索引擎库的速度。

当然，whoosh的优势是易用性，在考虑性能的情况下whoosh不是首先。

注：Xapian performance comparision with Whoosh

Tags: , ,

纯python的全文搜索组件Whoosh

一 30, 2010 编程

haystack 是 django 全文搜索的一个中间件，可以粘合 django 应用和 solr、xapian、whoosh 全文搜索引擎。

solr和xapian是早就知道的，Whoosh就没听过了。简单的了解后感觉这东西还是非常不错的。whoosh是一个纯python实现的全文搜索引擎。对python应用而言，whoosh的纯python实现，使whoosh的集成会容易很多，而且扩展起来也会容易很多。

下面是对Whoosh官方简介的翻译

原文地址：http://whoosh.ca/wiki

Whoosh: 高效的纯python全文搜索组件

Whoosh是一个纯python实现的全文搜索组件。Whoosh不但功能完善，还非常的快。

Whoosh的作者是MattChaput，由Side Effects Software公司开发。项目的最初用于Houdini（Side Effects Software公司开发的3D动画软件）的在线帮助系统。Side Effects Software公司将该项目开源。

主要特性

  • 敏捷的API（Pythonic API）。
  • 纯python实现，无二进制包。程序不会莫名其妙的崩溃。
  • 按字段进行索引。
  • 索引和搜索都非常的快 — 是目前最快的纯python全文搜索引擎。
  • 良好的构架，评分模块/分词模块/存储模块等各个模块都是可插拔的。
  • 功能强大的查询语言（通过pyparsing实现功能）。
  • 纯python实现的拼写检查（目前唯一的纯python拼写检查实现）

为啥选择Whoosh

  • 纯python实现，省了编译二进制包的繁琐过程。
  • python代码比java更容易读懂，而且用起来也更方便。（翻者注：这个容易引发口水）
  • 在很多时候易用性比单纯的最求速度更重要。

Whoosh从其他的开源搜索引擎中获取了大量的灵感。 基础构架参考Lucene，使用KinoSearch的索引算法，部分评分算法来自Terrier，英文的词语态变化来自Minion.

Tags: ,

初次尝试翻译较长的文章

五 13, 2009 vicalloy的庄家

以前也翻译过一些东西，不过都是非常短的文字。今天在网上看到一篇关于unladen swallow（Google的python实现）的文章，于是尝试对其进行翻译。

翻译东西确实不是一件容易的事。外文文章要读懂很容易，你只想要关注其中的重点即可，对于一些不重要的地方即使你没读懂也没关系。在翻译的时候你很容易的就会陷入了原作者的语言习惯，但外文和中文的语言习惯还是有很大的差别。其中语言习惯的差别不仅仅表现在句式结构上，还会贯穿在整片文字的语言组织上。所以如果你是按句翻译，那不管你如何组织语言，依旧会读起来很拗口。

除技术因素外，翻译还是一个很考验耐心的活。一篇可以在几分钟内读完的文章翻译起来得花几个小时。

虽然翻译得比较糟糕（自己都不想再读一遍），不过总算翻译完了，如果哪天有空就再休整一下，至少不要读得这么恶心。

unladen swallow: 加速Python

Tags: , ,

整了个在线将reStructuredText转成html的东西

一 5, 2009 vicalloy的庄家

现在不少python程序都是用reStructuredText写文档。
比较郁闷的是有部分文档都只提供了reStructuredText的源文件，没有转换好的html文件。
感觉自己每次手动转比较麻烦，于是花了点时间写了个在线的。
将reStructuredText文件贴进去，提交后就可以看到转好的页面了。

现在还有点问题，sphinx对reStructuredText进行了扩展。
对包含了sphinx标签的会处理出错（谁知道怎么忽略错误？）。
地址是 http://rest.haoluobo.com/

程序的代码可是非常的少，主要代码就是下面几行。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
from django.http import HttpResponse
from docutils.core import publish_string

def index(request):
   html = """
<html>
       <head></head>
       <body>
       <form action="" method="post">
           <textarea name="rest" cols="60" rows="20" onfocus="this.value=”"></textarea>
           <br/>
           <input type="submit" value="提交"/>
       </form>
   </body>
</html>
   """
   if request.POST:
       html = publish_string(request.POST['rest'], writer_name=’html’)
   return HttpResponse(html)

Tags: , ,

提升pystardict对stardict字典文件的加载速度

一 2, 2009 编程

stardict是linux下使用最广的字段程序，在广大网友的贡献下，stardict的字典文件可是相当的丰富。pystardict是一个读取startdict字典文件的python库。

前些天在邮件列表看到有人提到用pystardict加载stardict的字典文件速度慢的问题。加载字段文件时需要解析字段的索引文件（.idx）取出所有的单词信息。但python未提供指针，处理速度远比不上c。

我尝试用正则表达式对索引解析部分的代码进行重写，经测试，速度应当能提高3/5的样子。感觉依旧不是太理想，不知道是否还有什么别的办法。

我将改动后的代码生成了一个patch发给pystardict的作者，不知道是否会被采用。

下面是idx解析的关键代码（idx的结构确实是非常的简单）：

1
2
3
4
5
6
7
8
9
10

        import re
        rawstr = r"""([\d\D]+?\x00[\d\D]{8})"""
        matchstr = self._file
        match_obj = re.findall(rawstr, matchstr)
 
        for e in match_obj:
            c = e.find('\x00')
            record_tuple = unpack('!%sc1x%sL' % (c, idx_offset_format), e)
            word, cords = ''.join(record_tuple[:c]), record_tuple[c:]
            self._idx[word] = cords

附件：提高了字典加载速度的pystardict

后记

今天收到原作者的邮件，我提交的patch已经接收了，新的pystardict已经更新过。不过他用的是我早些提交的patch。那个patch里，我unpack的时候没有做跳过\x00的处理，所以要稍微丑点。

Tags: , ,