编程语言后 GPT 时代,NLP 不存在了? 在讨论中,提到了以 ChatGPT 为代表的大型语言模型对自然语言处理(NLP)领域的冲击,以及以 Rasa 为代表的传统NLP解决方案。对于“NLP已死”和“NLP不存在了”的观点,作者认为这代表了通用智能和专业智能两种人工智能方向。作者分享了在开发人工智能管家“贾维斯”过程中遇到的意图识别问题,并通过两种方法进行解决。最终强调了在机遇与挑战并存的时代中,选择合适的技术和平衡通用和专业智能的重要性。 GPT NLP Rasa 贾维斯2023-05-12
数据分析SnowNLP 使用自定义语料进行模型训练 SnowNLP是一个中文文本处理库,包含中文分词、词性标注、情感分析、文本分类、关键字提取、TF/IDF和文本相似度等功能,支持隐马尔科夫模型、朴素贝叶斯和TextRank等算法。使用自定义语料可以训练模型以获得更符合实际情况的结果。文章介绍了如何使用SnowNLP训练模型文件,替换默认模型文件,以及使用训练好的模型对微博和电影评论进行情感分析。同时探讨了关于情感、人类情感变化和生命消亡的哲学思考。 NLP 训练 模型 情感2021-05-19
数据分析使用 Python 抽取《半泽直树》原著小说人物关系 2020 年的年度日剧《半泽直树》续集获得了极高的评价,本文通过 Python 编程,结合自然语言处理技术,提取了原著小说中的人物关系。在准备工作中,需要准备中文语料、安装必要的第三方库,并使用 Gephi 软件进行人物关系的可视化展示。文章介绍了共现网络的基本原理,并通过 RelationExtractor 类来抽取人物关系,最终使用 Gephi 和 PyECharts 对结果进行可视化。结果显示,大多数人物关系是正确的,但不可避免地存在一定局限性,如无法解决在A和B交谈中提到C的问题,以及女性角色的缺失等。为了改进这些不足,可以尝试使用文本分类模型和依存句法来识别实体间的关系,哈工大的语言技术平台(LTP)在这方面可以提供帮助。 Python NLP 半泽直树 Gephi ECharts2020-12-08