数据分析 - 元视角

数据分析

通过 Python 预测 2021 年双十一交易额本文通过 Python 编程实践，探讨了如何预测 2021 年双十一的交易额。作者首先回顾了历年双十一的交易数据，并利用最小二乘法和线性回归原理进行分析。通过 Python 的 scikit-learn 库中的 LinearRegression 类，作者对数据进行了线性回归处理，并尝试了一次方程、二次方程和三次方程来提高拟合效果。最终，作者发现三次方程的拟合效果最佳，预测出的 2021 年双十一交易额约为 6213 亿。文章还讨论了其他可能的模型，如指数模型，并提出了对未来不确定性的哲学思考。

Python Sklearn 双十一

2021-10-26

数据分析

SnowNLP 使用自定义语料进行模型训练 SnowNLP是一个中文文本处理库，包含中文分词、词性标注、情感分析、文本分类、关键字提取、TF/IDF和文本相似度等功能，支持隐马尔科夫模型、朴素贝叶斯和TextRank等算法。使用自定义语料可以训练模型以获得更符合实际情况的结果。文章介绍了如何使用SnowNLP训练模型文件，替换默认模型文件，以及使用训练好的模型对微博和电影评论进行情感分析。同时探讨了关于情感、人类情感变化和生命消亡的哲学思考。

NLP 训练模型情感

2021-05-19

数据分析

通过 Python 分析 2020 年全年微博热搜数据

Python 热搜微博可视化

2021-01-24

数据分析

基于 Python 和 Selenium 实现 CSDN 一键三连自动化博主感受到了面对年轻"后浪"压力的危机感，提及IT行业35岁门槛，称赞年轻技术大佬[Catcher Wong](https://www.cnblogs.com/catcher1994)的技术实力。讨论了"不正经"博主Kimol君通过标题党和评论互刷等手段获取流量的问题，提到评论风格和团队作弊行为。另外，探讨了年轻人不讲"武德"的现象，介绍了使用Selenium和Python刷CSDN点赞、收藏等操作的技术实现方法。最后，分享了Python数据挖掘专栏和技术驱动的浏览器操作配置方法。

爬虫自动化 Python Selenium

2021-01-19

数据分析

使用多线程为你的 Python 爬虫提速的 N 种姿势，你会几种？博主通过优化一个多年前编写的爬虫程序，深入探讨了 Python 中的多线程编程及其在爬虫领域的应用。文章首先介绍了线程和进程的基本概念，并通过代码示例展示了如何使用 `Thread`、`ThreadPool`、`ThreadPoolExecutor`、`Process`、`ProcessPool` 和 `ProcessPoolExecutor` 实现多线程和多进程下载。接着，文章讨论了由于 Python 的 GIL 特性，多线程在 Python 中主要适用于I/O密集型任务，而多进程则适用于CPU密集型任务。此外，博主还介绍了如何利用 `asyncio` 和 `requests` 实现异步I/O，以进一步提升爬虫程序的效率。文章最后通过对比不同方法的执行时间，展示了各自性能，并提供了一个福利，开源了示例爬虫程序给读者参考。

Python 多线程爬虫技巧

2021-01-14

数据分析

使用 Python 抽取《半泽直树》原著小说人物关系 2020 年的年度日剧《半泽直树》续集获得了极高的评价，本文通过 Python 编程，结合自然语言处理技术，提取了原著小说中的人物关系。在准备工作中，需要准备中文语料、安装必要的第三方库，并使用 Gephi 软件进行人物关系的可视化展示。文章介绍了共现网络的基本原理，并通过 RelationExtractor 类来抽取人物关系，最终使用 Gephi 和 PyECharts 对结果进行可视化。结果显示，大多数人物关系是正确的，但不可避免地存在一定局限性，如无法解决在A和B交谈中提到C的问题，以及女性角色的缺失等。为了改进这些不足，可以尝试使用文本分类模型和依存句法来识别实体间的关系，哈工大的语言技术平台(LTP)在这方面可以提供帮助。

Python NLP 半泽直树 Gephi ECharts

2020-12-08

数据分析

厉害了！打工人用 Python 分析西安市职位信息本文主要通过抓取Boss直聘、智联招聘、前程无忧三个招聘网站的信息，分析了西安市的求职招聘情况。重点讨论了行业结构、学历结构、薪资待遇、学历与薪资关系、经验与薪资关系、招聘热词等方面。结论包括西安市主要行业、学历与薪资正相关、经验与薪资正相关、热门标签如五险一金、年终奖金等。整体显示西安市求职招聘情况，以及人们关注的重点。

Python 求职可视化西安

2020-12-05

数据分析

基于新浪微博的男女性择偶观数据分析(下) 这篇文章主要介绍了作者的数据分析过程，从文本分类的技术方法、TF-IDF与朴素贝叶斯的理论，到具体的数据分析包括年龄、性别、身高、地区和星座等方面。通过Python代码实现了对微博中男女性择偶观的分析，包括身高、地域分布、星座分布等，展示了数据可视化结果。文章总结了作者的心路历程和对数据分析的热情，呈现了一次全面而深入的数据探索过程。

朴素贝叶斯文本分类微博

2018-03-17

数据分析

基于 Python 实现的微信好友数据分析微信最近更新，允许用户自定义“发现”页面，与此同时朋友圈的复杂性在增加，人们更多设置为“仅展示最近三天的朋友圈”，反映出人们渴望被关注却又担心隐私泄露的矛盾心理。文章通过 Python对微信好友进行数据分析，维度包括性别、头像、签名和位置，并使用了图表和词云展示结果。分析发现，性别比例失衡，男性用户多于女性；头像使用人脸的好友约占四分之一，签名中正面情感占主导，位置分析显示好友主要集中在宁夏和陕西。文章最后指出，数据可视化是手段，重要的是数据背后反映的现象和启示。

Python Wechat matplotlib

2018-02-24

数据分析

基于新浪微博的男女性择偶观数据分析(上) 这篇文章通过一个程序员的视角，探讨了现代择偶标准与个人情感挫折之间的联系。作者首先表达了自己在感情上的不顺利，随后通过朋友在社交媒体上的互动，引发了对人际关系和外表重要性的思考。文章接着详细介绍了作者如何利用 Python 进行新浪微博数据抓取、数据清洗、中文分词以及最终通过词云展示男女在择偶标准上的差异。分析结果显示，外表特征如身高和相貌在择偶中的重要性，这使得作者感到失望。最后，作者反思了数据分析的意义，并认识到每个人都有其独特之处，应自信地面对他人的看法。文章以一种个人化且情感丰富的方式，将技术实践与对生活的深刻思考相结合。

微博词云 Python

2017-12-23

分类：数据分析