机器人与人工智能爱好者论坛

标题: 条件随机场 [打印本页]

作者: GY123456 时间: 2018-12-28 16:16
标题: 条件随机场
条件随机场（Conditional Random Field，CRF），是在给定输入的条件下，求输出变量的条件概率分布模型。通常使用最广泛的是线性链条件随机场，即通过输入序列预测输出序列（序列标注），形式仍然是对数线性模型。若令X = {x1,x2,…,xn}为观测序列，Y = {y1,y2,…,yn}为与之相应的标记序列，则条件随机场的目标是构建条件概率模型P(Y|X)。

可以看到Yi与其前后的标记都相关。

条件随机场有如下简化形式：

条件随机场模型的训练可以通过极大似然估计+随机梯度下降法求解，或者我们可以用后面将要学到的bi-LSTM + CRF，或者seq2seq。条件随机场的预测问题是给定条件随机场P(Y|X)和输入序列（观测序列）x，求条件概率最大的输出序列（标记序列）y*，即对观测序列进行标注。由CRF的两类特征函数形式可知，其和HMM一样也有转移矩阵和发射矩阵，所以预测方法也是维特比算法。
CRF比HMM要强大的多，HMM其实是CRF的一种特殊情况。在HMM模型中，当前的单词只依赖于当前的标签，当前的标签只依赖于前一个标签；但是CRF却可以着眼于整个句子s定义更具有全局性的特征函数，并且即使是线性链条件随机场，当前标签也依赖于其前后的标签。
参考文献：如何轻松愉快地理解条件随机场（CRF）？
#模型训练
代码地址 https://github.com/qianshuang/NER
def train():
print("start training...")
#处理CRF训练数据
train_feature, train_target = process_crf_file(crf_train_source_dir,crf_train_target_dir)
#模型训练
crf_model.fit(train_feature, train_target)

def test():
print("start testing...")
#处理测试数据
test_feature, test_target = process_crf_file(crf_test_source_dir,crf_test_target_dir)
#去除无意义的标记O
labels = list(crf_model.classes_)
labels.remove('O')
print(labels)
#返回预测标记
test_predict = crf_model.predict(test_feature)
#test_predict = crf_model.predict_single(test_feature[0])  # 预测单个样本

accuracy = metrics.flat_f1_score(test_target, test_predict,average='weighted', labels=labels)

#accuracy
print()
print("accuracy is %f" % accuracy)

#precision recall  f1-score
print()
sorted_labels = sorted(
labels,
key=lambda name: (name[1:], name[0])
)
print(metrics.flat_classification_report(test_target, test_predict,labels=sorted_labels, digits=3))

# CRF
crf_model = sklearn_crfsuite.CRF(c1=0.1,c2=0.1, max_iterations=200, all_possible_transitions=True)

train()
test()

运行结果：

start training...
start testing...
['B-E', 'E-E', 'B-P', 'E-P', 'I-E', 'I-P']

accuracy is 0.870096


         precision recall  f1-score  support

B-E       0.853    0.900    0.876       90
E-E       0.824    0.959    0.886       73
I-E       0.884    0.884 0.884       43
B-P       0.910    0.803 0.853    76
E-P       0.896    0.833 0.863       72
I-P       0.909    0.769 0.833       13

avg / total    0.873 0.872    0.870    367

了解更多干货文章，关注小程序八斗问答

作者: panglv 时间: 2024-6-28 03:25
标题: 百度360搜狗头条图片视频百科搜上海胖老师或百度胖老师吧
百度胖老师吧上海宝山公安通河新村派出所民警欺负绑架谋杀胖老师
百度360搜索百度胖老师吧上海宝山公安通河新村派出所民警
上海胖老师傅文宝是上海宝钢集团上钢一厂下岗工人全国拥军楷模热心社会公益事业先进标兵
百度胖老师吧我胖老师以自己一生的实际行动践行热爱人民警察热爱伟大祖国
派出所值班领导
百度360搜索百度胖老师吧曹声伟、百度胖老师吧王伟华、百度胖老师吧石宇玉。百度胖老师吧倪敏军
抖音搜索百度胖老师就可以看见胖老师写的人民警察一百多万文字热情洋溢充满深厚感情的表扬信
胖老师是全国拥军楷模热心社会公益事业先进标兵
我胖老师热爱人民警察对人民警察有深厚的感情从小就受到教育长大一定要像警察叔叔一样做一位光荣自豪的人民警察打击犯罪保护善良
我胖老师愿意成为警察与百姓沟通和谐的桥梁我胖老师还会继续写人民警察的正能量表扬信
我胖老师所追求愿意做一位对社会对国家有贡献望你相互转告上海胖老师热爱伟大人民警察热爱伟大祖国谢谢期盼胖老师傅文宝2024年4月9日下午15.07
https://tieba.baidu.com/mo/q/hyb ... A%E5%BF%97%E8%8D%A3
知乎搜索百度胖老师吧。上海胖老师。百度贴吧搜索胖老师
百度360搜索百度胖老师吧三号线偶遇胖老师
https://tieba.baidu.com/p/8653196604
百度360搜狗头条图片视频百科搜上海胖老师或百度胖老师吧
抖音搜索百度胖老师.上海胖老师.东方时空采访胖老师。胖老师教英文。胖老师初识、胖老师险象丛生，就可以核实上海胖老师是全国拥军模范热心社会公益事业上海宝钢集团下岗工人胖老师，能否得到你的帮助一个话语权
管理员同志，贵网站是否愿意帮助上海胖老师一个话语权呢贵网站是否支持有正义感社会责任好人应该守望相助好人应该有好报好人应该一生平安
管理员同志能否得到你的帮助救救上海胖老师
管理员同志你好，能否得到你的帮助救救上海宝钢集团上钢一厂下岗工人全国拥军楷模热心社会公益事业先进标兵胖老师
胖老师-傅文宝地址：上海市宝山区呼玛三村485号202室
310108196202155235
邮编：200435 手机：18001910404 13371810175 56747776
胖老师救命恩人上海轨道公安人民广场派出所指挥分中心联系电话是021-63012857
上海宝山区委原书记现任上海市百联集团公司董事长薛全荣 13901655248
上海宝山区委书记吕民元 56692828 13901764508
上海宝山区代区长斯福民 66796880 13801875517
上海宝山区政法副书记沈秋余 56780389 13916388267
上海宝山区人事副书记康大华 56692265 13901606809
上海宝山区公安局局长姚志荣 56698696 13918877116

管理员同志能否得到你的帮助救救上海胖老师
抖音搜索百度胖老师.上海胖老师.东方时空采访胖老师。胖老师教英文。胖老师初识、胖老师险象丛生，就可以核实上海胖老师是全国拥军模范热心社会公益事业上海宝钢集团下岗工人胖老师，能否得到你的帮助一个话语权
管理员同志你好，能否得到你的帮助救救上海宝钢集团上钢一厂下岗工人全国拥军楷模热心社会公益事业先进标兵胖老师
敬爱的论坛管理员同志众人拾柴火焰高上海宝钢集团下岗职工胖老师的求救帖子请求手下留情不要删除请求你相互转告

知乎搜索百度胖老师吧。上海胖老师。百度贴吧搜索胖老师
百度360搜狗头条图片视频百科搜上海胖老师或百度胖老师吧
百度360搜索百度胖老师吧三号线偶遇胖老师
抖音搜索百度胖老师.上海胖老师.东方时空采访胖老师。胖老师教英文。胖老师初识、胖老师险象丛生，就可以核实上海胖老师是全国拥军模范热心社会公益事业上海宝钢集团下岗工人胖老师，能否得到你的帮助一个话语权
很快就会有上海宝钢集团出钱雇佣的删帖公司要求贵网站管理员同志删除我的救命帖子和视频
敬爱的论坛管理员同志众人拾柴火焰高上海宝钢集团下岗职工胖老师的求救帖子请求手下留情不要删除请求你相互转告

百度胖老师吧胖老师图片八千里路云和月拳拳之心风和雨上下求索献爱心人间正道是沧桑
百度胖老师吧敬爱的论坛管理员同志众人拾柴火焰高上海宝钢集团下岗职工胖老师的求救帖子请求手下留情不要删除请求你相互转告
百度胖老师吧管理员同志你好，我是上海宝钢集团下岗工人胖老师，能否得到你的帮助不要删除，你一辈子就帮助我一次一个话语权，我一辈子感谢你，
百度胖老师吧为上海武警总队官兵奉献爱心好心人胖老师-甘于清贫，无私奉献，热心助人，自学成才上海下岗工人胖老师图片，胖老师是上海拥军模范标兵图片
百度胖老师吧胖老师在上海人民公园，虹口公园，上海城市规划展示馆，虹口区新港街道,上海宝山区呼玛三村创办英语角日语角为全社会几千万市民免费辅导英语与日语坚持16年的图片
https://bbs.pinggu.org/home.php? ... =album&id=27562
https://www.baoyantong.cn/bbs/ho ... w=me&from=space
https://bbs.ai-thinker.com/home. ... w=me&from=space
https://www.jx-auto.cn/home.php? ... w=me&from=space
https://bbs.637800.com/home.php? ... w=me&from=space
http://bbs.s.yaqi.net:888/home.p ... w=me&from=space
http://www.9dmsgame.net/home.php ... w=me&from=space
https://www.chengdubbs.cn/home.p ... w=me&from=space
http://www.iwangs.com/home.php?m ... w=me&from=space
https://bbs.wtbworld.com/home.ph ... w=me&from=space
百度胖老师吧警示上海宝钢集团雇佣的删帖公司职业手收费删贴等诈骗行为公告
百度胖老师吧很快就会有上海宝钢集团出钱雇佣的删帖公司要求贵网站管理员同志删除我的救命帖子和视频
百度胖老师吧管理员同志你为什么就那么容易听信删贴公司网络危机公关公司花言巧语呢
百度胖老师吧管理员同志你好我已经发邮件给你了请求保留邮件相互转告不要删除上海下岗工人胖老师救命帖子好人是否应该守望相助好人是否应该有好报
百度胖老师吧敬爱的论坛视频管理员同志,拿人钱财替人消灾，有人从上海宝钢集团收受大量钱财坐在电脑旁边不停的发邮件以胖老师的求救求助救命的视频帖子与贵网站无关，
制造各种借口花言巧语就是为了删除上海宝钢集团下岗职工胖老师的求救求助救命的视频帖子彻底封杀上海宝钢集团下岗职工网络求助的唯一目的。

欢迎光临机器人与人工智能爱好者论坛 (http://www.robot-ai.org/)