小说阅读网首页 言情小说 青春校园 玄幻小说 武侠小说 小说连载 灵异推理 网络小说 纪实文学 网游小说 全本小说 作家专区
文学博客网 >> 生活日记

最大熵工具包的使用

作者: infobillows   发表日期: 2007-01-13 21:06  点击数: 1377


最大熵是自然语言处理中经常用到的一种统计方法。网上也有很多最大熵方面的工具包,目前大家用得最多的应该是张乐博士写的最大熵工具包了。该工具包既可以采用命令行形式运行,也可以直接调用接口函数,为大家的研究工作带来了很大的方便。但是,对于刚接触到该工具包的人来说,使用起来还是有些麻烦的。

一、命令行形式使用方法

       1、利用命令行形式,首先要准备好特征文件。特征文件的格式在最大熵工具包的使用说明书(manual20041229.pdf)的P24

           

       特征文件中,一行就是一个事件(event),其格式首先是该event对应的类别label,然后是特征feature,两者都是string类型的。如果feature后边有“:”,则后边是该feature的值。Labelfeature之间,以及featurefeature之间以空格间隔。例如一个事件形式如下:

Outdoor Sunny Sad Humid Outdoor    

则,该eventlabelOutdoor,特征有四个,包括SunnySadHumidOutdoor。该事件中的特征没有给出特征值,如果没有显式给出,则其特征值默认为1

       准备好特征文件之后,可以采用命令进行训练:

       maxent –m Modelname –i iteraterNum –v train.txt

例如:maxent –m Modelname –i 30 –v train.txt

则你将会得到一个名字为Modelname的最大熵模型。

       测试过程,首先也是利用同样的特征模板抽取特征构成特征文件test.txt作为系统输入,然后测试的命令为:

       maxent -p –m Modelname –o output.txt test.txt

    将输出对每个事件的预测结果

或者采用命令:

maxent -p –m Modelname –detail –o output.txt test.txt

将输出详细的概率信息

 

二、调用函数API

n       使用函数接口

l       运行环境:VC7.1

l       加入头文件:#include <maxentmodel.hpp>

l       类名:MaxentModel

l       训练过程:

加入特征事件:

n       begin_add_event();

n        add_event(const vector< string > &context, const outcome_type &outcome, size_t count=1)

n       end_add_event()

l       训练:train(size_t iter=15, const std::string &method="lbfgs", double sigma=0.0, double tol=1E-05)

           保存模型:save(const string &model, bool binary=false)

-----------------------------------------------------------------------------------------------------------------

l       测试:

n       加载模型:load (const string &model)

n       加入特征,方法同训练

n       模型估计使用函数:eval_all(const vector< string > &context, std::vector< pair< outcome_type, double > > &outcomes,   bool sort_result=true

 

三、最大熵工具包下载

    

  张乐博士的最大熵工具包
 

四、最大熵工具的一个介绍

下面的文档介绍了最大熵理论以及最大熵工具包的使用:

  最大熵理论及其应用,下载

回复(5) | 投票支持
欢迎到infobillows的博客主页看更多内容
共5条回复
guest 发表于 2008-11-25 13:29
#5
能给我也发一份吗?我现在正需要这个工具包,非常感谢!我的油箱地址是xiaoxiao526@126.com,再次感谢!
guest 发表于 2008-09-02 11:37
#4
能给我发一份吗?我下载的都不能用
我的邮箱sxx200324@yahoo.com.cn
谢谢啦
guest 发表于 2008-07-25 09:49
#3
能给我发一份这个工具包吗?我现在想学学这个工具包,非常之谢谢!
我的邮箱lgxuxiaoli@yahoo.com.cn
或者加我qq 44575052
guest 发表于 2008-07-25 09:45
#2
在哪里能下载到这个工具包啊?
guest 发表于 2008-07-14 20:39
#1
请问怎样安装和使用这个工具包?
共5条回复

发表关于《最大熵工具包的使用》的评论

请输入验证码:

本分类其它博客文章

小说阅读网》作品展示

小说阅读网》精品小说

联系我们 | 服务条款 | 隐私保护 | 人员招聘 | 投诉建议 | 友情链接