Thread Rating:
  • 0 Vote(s) - 0 Average
  • 1
  • 2
  • 3
  • 4
  • 5
全球最厉害的15个免费数据源
#1
下面分享一些我收藏的常用开源网站,它们有一个共性——权威和全面,希望可以帮助大家更加快捷、有效的找到自己想要的数据。以下几个网站包含几乎所有行业的数据集,包括经济、社会、自然科学等领域,而且可以找到各个行业的报告资源。

[font=微软雅黑]政府数据[/font]
[font=微软雅黑]国家数据  [/font]
[font=微软雅黑]http://data.stats.gov.cn/index.htm[/font]
[font=微软雅黑]数据来源于中国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖。[/font]
[font=微软雅黑]                              [/font]


[font=微软雅黑]美国政府公开数据源  [/font]
[font=微软雅黑]https://www.data.gov/[/font]
[font=微软雅黑]美国政府公开数据源,里面有农业,气候,消费,教育,能源,金融,健康,政府,制造业,海运,海洋,公共安全等领域的数据。数据以数据集方式提供,支持csv,json, xml等格式,并且每个数据集均有用户点评,方便筛选数据。[/font]



[font=微软雅黑]行研资源[/font]
[font=微软雅黑]氧分子平台  [/font]
[font=微软雅黑]https://o2.credoo.com/cust/O2sCust/index.html[/font]
[font=微软雅黑]氧分子大数据平台上推出系列庞大的免费资源,包含各行业研究报告、城市研究报告、市场监测报告等,内容涉及微信公众号,p2p网贷,单车租赁,二手车交易,陌生人交友等各行各行业报告。报告分季度和全年。除此之外,拥有多个权威认证网站链接,以供大家使用。[/font]



[font=微软雅黑]数据中华  [/font]
[font=微软雅黑]http://www.allchinadata.com/[/font]
[font=微软雅黑]数据中华在线数据库,包括企业、行业、产品、宏观、海关五大模块,提供数据在线查询分析。[/font]


[font=微软雅黑]财经数据[/font]
[font=微软雅黑]CEIC    [/font]
[font=微软雅黑]http://www.ceicdata.com/zh-hans[/font]
[font=微软雅黑]最完整的一套超过128个国家的经济数据,能够精确查找GDP, CPI, 进口,出口,外资直接投资,零售,销售,以及国际利率等深度数据。[/font]



[font=微软雅黑]wind(万得)  [/font]
[font=微软雅黑]http://www.wind.com.cn/[/font]
[font=微软雅黑]万得被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。[/font]

[font=微软雅黑]科学数据[/font]
[font=微软雅黑]亚马逊aws  [/font]
[font=微软雅黑]https://aws.amazon.com/cn/datasets/[/font]
[font=微软雅黑]来自亚马逊的跨科学云数据平台,包含化学、生物、经济等多个领域的数据集。包括1000个基因组工程,试图建立最全面的人类遗传信息数据库和美国宇航局的卫星图像数据库。[/font]



[font=微软雅黑]github [/font]
[font=微软雅黑]https://github.com/caesar0301/awesome-public-datasets[/font]
[font=微软雅黑]包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,做研究和数据分析的利器。[/font]

[font=微软雅黑]图像数据[/font]
[font=微软雅黑]The MNIST Database [/font]
[font=微软雅黑]http://yann.lecun.com/exdb/mnist/[/font]
[font=微软雅黑]非常受欢迎的手写数据图像识别数据集。这个站点上有6万个训练案例和1万组练习集。这通常会是新手使用的第一个图像识别训练数据集。[/font]



[font=微软雅黑]ImageNet   [/font]
[font=微软雅黑]http://image-net.org/[/font]
[font=微软雅黑]图像数据集是根据WordNet的层级来组织的,里面有丰富的各类图像数据,以供分析。[/font]

[font=微软雅黑]文本分类数据集[/font]
[font=微软雅黑]Twitter Sentiment Analysis [/font]
[font=微软雅黑]http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/[/font]
[font=微软雅黑]该站点中包含1,578,627个已经分类的推特状态。每一条都被标记了是积极情绪还是消极情绪。数据是基于Kaggle和Nick Sanders的调研结果。[/font]


[font=微软雅黑]Movie Review Data  [/font]
[font=微软雅黑]http://www.cs.cornell.edu/People/pabo/movie-review-data[/font]
[font=微软雅黑]该网站提供了有关电影评论的集合文件,用正面或者负面情绪以及主观评级将其标注。[/font]

[font=微软雅黑]推荐引擎数据集[/font]
[font=微软雅黑]GroupLens  [/font]
[font=微软雅黑]http://grouplens.org/[/font]
[font=微软雅黑]该站点通过对真实的个人创建深度分析系统,来改进社交计算的理论和实践。同时在GroupLens Research中,收集了MovieLens中的网站数据集,根据数据集的大小,在不同的时间段收集数据。[/font]



[font=微软雅黑]综合导航[/font]
[font=微软雅黑]搜数网  [/font]
[font=微软雅黑]http://www.soshoo.com/[/font]
[font=微软雅黑]已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的所有统计和调查数据,并提供多样化的搜索功能。[/font]
[font=微软雅黑][Image: hWAAAAAElFTkSuQmCC][/font]


[font=微软雅黑]199IT大数据导航  [/font]
[font=微软雅黑]http://hao.199it.com/[/font]
[font=微软雅黑]以大数据产业为主,大数据工具为辅,汇集超1000 款全球优质数据工具平台。[/font]

[font=微软雅黑]爬虫[/font]
[font=微软雅黑]       当然以上网站提供的都是“得来全不费功夫”的数据,但是有些资源,尤其是网络数据,无法从以上途径获取。比如,有次我要写一篇以“海淘商品”为主题的论文,需要一些商品的网上销售信息,此时发现无法直接获得该数据。在搜数“无路”的时候,有朋友建议我“爬虫”。于是,我尝试学习python,有种相见恨晚的感觉,惊叹于爬虫高度的自由性、自主性。通过爬虫我获取了满足自己需求的数据,对论文带来很大的帮助。利用爬虫我爬取了一些从其它渠道获取不到的数据资源,做了一些感觉很有意思的事情,比如抓取租车类网站的租车信息,长期跟踪租车价格及数量等信息;抓取分类信息网站,抓取招商加盟的数据,对定价进行分析。[/font]
[font=微软雅黑][Image: 640?wx_fmt=png&wxfrom=5&wx_lazy=1][/font]

[font=微软雅黑]       总之,我们可以利用爬虫获取很有价值的数据,用于个性化的分析研究。比如你需要获取某音乐网站的音乐资源,但是人工查找汇总实在太麻烦,那么利用爬虫你可以快速地进行抓取,并可以根据曲风、演唱者、年份等信息进行分类存储。面对如此丰富的数据,有没有很兴奋,如此便可以施展自己的分析技能。[/font]
Reply
#2
26个数据集网站汇总



00 如何使用这些资源?

如何使用这些数据源是没有限制的。唯一限制你的是创造力和实际应用。

使用它们的最简单方法是进行数据项目并发布到网上。这不仅可以提高数据和可视化技能,还可以改善你的结构化思维。

另一方面,如果你打算或正在处理基于数据的产品,这些数据集可以通过提供新的输入数据来增加产品的活力。

我已经将这些资源分类,从简单,通用和易于处理的数据集,到大型、行业相关的数据集。接着,介绍用于特定目的的数据集:文本挖掘,图像分类,推荐引擎等。

(友情提示:以下网站均需翻墙)


01 简单、通用的数据集

1. data.gov  

美国政府公开数据。该网站在发布时包含超过 19 万个数据点。这些数据包括气候,教育,能源,金融等领域的数据。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

2. data.gov.in 

印度政府公开数据。可以查找各行业,气候,医疗保健等数据。还可以在这里得到一些可视化的灵感。根据所在国家,你也可以从其他几个网站上查看类似的网站。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

3. World Bank

世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。
 
4. RBI  

印度储备银行提供的数据。包括国际收支,银行业务和一些产品使用的货币市场运作指标。
 
5. Five Thirty Eight Datasets 

Five Thirty Eight,亦称作 538,专注与民意调查分析,政治,经济与体育的博客。该数据集为 Five Thirty Eight Datasets 使用的数据集。每个数据集包括数据,解释数据的字典和Five Thirty Eight 文章的链接。如果你想学习如何创建数据故事,不能错过。


02 大型数据集

6. Amazon Web Services(AWS)datasets

亚马逊提供了一些大数据集,可以在他们的平台或本地计算机上使用。还可以通过 EMR,使用 EC2 和 Hadoop 在云端分析数据。亚马逊的热门数据集包括完整的 Enron 电子邮件数据集,Google Books n-gram,NASA NEX 数据集,百万歌曲数据集等。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

7. Google datasets

Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。

8. Youtube labeled Video Dataset

几个月前,谷歌研究小组发布了 YouTube 标签数据集,该数据集由 800 万个 YouTube 视频 ID 和 4800 个视觉实体的相关标签组成。这来自数十亿帧的预先计算和最先进的视觉功能。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]
 

03 预测建模与机器学习数据集

9. UCI Machine Learning Repository

UCI 机器学习存储库显然是最着名的数据存储库。如果你正在寻找与机器学习库相关的数据集,那么这是不可错过的资源。当中包括各种各样的数据集,从泰坦尼克号的幸存数据,到最近的空气质量、GPS 轨迹等待。存储库包含超过 350 个数据集,其中包含域名,问题目的(分类/回归)等标签。你可以使用这些过滤器来确定需要的数据。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

10. Kaggle 

Kaggle 推出了一个平台,人们上传数据集,其他社区成员可以投票并在其上运行脚本。共有 350 多个数据集 ,特征数据集超过 200 个。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

11. Analytics Vidhya

你可以参与和下载我们的练习问题以及黑客马拉松问题的数据集。数据集基于现实生活中的行业问题,并且相对较小,因为它们是针对 2-7 天的黑客马拉松活动。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

12. Quandl 

Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。

[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]

13. Past KDD Cups

KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。

14. Driven Data

Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后,他们为数据科学家组织在线模拟竞赛,从而开发出最好的模型来解决这些问题。[Image: gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA...5ErkJggg==]


04 图像分类数据集

15. The MNIST Database 

最流行的使用手写数字的图像识别的数据集。包括 6 万个火车示例和一个 1 万个示例的测试集。这通常是进行图像识别的第一个数据集。
 
16. Chars74K 
(http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ )

如果你已经掌握手写数字,可以进一步使用该数据集。当中包括自然图像中的字符识别,包含 74,000 个图像。 

17. Frontal Face Images 
(http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html )

如果你已经完成了前两个项目,并且能够识别数字和字符,那么在图像识别的下一个挑战就是正面脸部图像。这些图像由 CMU & MIT 收集,并排列在四个文件夹中。

18. ImageNet 

是时候构建一些通用的东西了。根据 WordNet 层次的图像数据库(目前仅为名词)。层次结构的每个节点都被描述为数百个图像。目前,这个集合平均每个节点有超过 500 个图像,并且在增加中。


05 文本分类数据集

19. Spam – Non Spam 

区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。
 
20. Twitter Sentiment Analysis

该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。
 
21. Movie Review Data

本网站提供电影评论文件的集合,标注其总体情绪极性(正面或负面)和主观评分(例如“两星半”)等。


06 推荐引擎的数据集

22. MovieLens  

MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。
 
23. Jester  

在线笑话推荐系统。


07 来自各种来源的数据集网站

24. KDNuggets 

KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面,但是某些来源不再提供数据集。因此,需要谨慎选择数据集和来源。
 
25. Awesome Public Datasets 

具有按域分类的数据集列表的 GitHub 存储库。数据集被整齐地划分在不同的领域,然而没有关于存储库本身的数据集的描述
 
26. Reddit Datasets Subreddit

由于这是一个社区驱动的论坛,可能与之前的两个数据源相比会一些混乱。但是,你可以根据热度和投票来对数据集进行排序,以查看最流行的数据集。另外,它还有一些有趣的数据集和讨论。
Reply


Forum Jump:


Users browsing this thread: 2 Guest(s)