Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心
机器之心翻译
Bharath Raj作者高璇 王淑婷编译

这是一份非常全面的开源数据集，你，真的不想要吗？

近期，skymind.ai 发布了一份非常全面的开源数据集。内容包括生物识别、自然图像以及深度学习图像等数据集，现机器之心将其整理如下：（内附链接哦~）


最近新增数据集


  • 开源生物识别数据：http://openbiometrics.org/


  • Google Audioset：扩展了 632 个音频分类样本，并从 YouTube 视频中提取了 2，084，320 个人类标记的 10 秒声音片段。

  • 地址：https://research.google.com/audioset/


  • Uber 2B trip data：首次展示 2 百万公里的出行数据。

  • 地址：https://movement.uber.com/cities


  • Yelp Open Dataset：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。

  • 地址：https://www.yelp.com/dataset


  • Core50：用于连续目标识别的新数据集和基准。

  • 地址：https://vlomonaco.github.io/core50/


  • Kaggle 数据集：https://www.kaggle.com/datasets


  • Data Portal：http://dataportals.org/


  • Open Data Monitor：https://opendatamonitor.eu/


  • Quandl Data Portal：https://www.quandl.com/


  • Mut1ny 头部/面部分割数据集：http://www.mut1ny.com/face-headsegmentation-dataset


  • Github 上的优秀公共数据集：https://www.kdnuggets.com/2015/04/awesome-public-datasets-github.html


  • 头部 CT 扫描数据集：491 次扫描的 CQ500 数据集。

  • 地址：http://headctstudy.qure.ai/


自然图像数据集


  • MNIST：手写数字图像。最常用的可用性检查。格式 25x25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于 MNIST，不意味着它有效。

  • 地址：http://yann.lecun.com/exdb/mnist/


  • CIFAR10 / CIFAR100：32x32 彩色图像，10/100 类。虽然仍有趣却不再常用的可用性检查。

  • 地址：http://www.cs.utoronto.ca/~kriz/cifar.html


  • Caltech 101：101 类物体的图片。

  • 地址：http://www.vision.caltech.edu/Image_Datasets/Caltech101/


  • Caltech 256：256 类物体的图片。

  • 地址：http://www.vision.caltech.edu/Image_Datasets/Caltech256/


  • STL-10 数据集：用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10。

  • 地址：http://cs.stanford.edu/~acoates/stl10/


  • The Street View House Numbers (SVHN)：Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST。

  • 地址：http://ufldl.stanford.edu/housenumbers/


  • NORB：玩具摆件在各种照明和姿势下的双目图像。

  • 地址：http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/


  • Pascal VOC：通用图像分割/分类——对于构建真实世界图像注释不是非常有用，但对基线很有用。

  • 地址：http://pascallin.ecs.soton.ac.uk/challenges/VOC/


  • Labelme：带注释图像的大型数据集。

  • 地址：http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php


  • ImageNet：新算法的客观图像数据集（de-facto image dataset）。许多图像 API 公司都有来自其 REST 接口的标签，这些标签近 1000 类;WordNet; ImageNet 的层次结构。

  • 地址：http://image-net.org/


  • LSUN：具有很多辅助任务的场景理解（房间布局估计，显著性预测（saliency prediction）等），有关联竞赛。（associated competition）。

  • 地址：http://lsun.cs.princeton.edu/2016/


  • MS COCO：通用图像理解/说明，有关联竞赛。

  • 地址：http://mscoco.org/


  • COIL 20：不同物体在 360 度旋转中以每个角度成像。

  • 地址：http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php


  • COIL100：不同物体在 360 度旋转中以每个角度成像。

  • 地址：http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php


  • Google 开源图像：有 900 万张图像的网址集合，这些图像通过知识共享（Creative Commons）被标注成 6000 多个类别。

  • 地址：https://research.googleblog.com/2016/09/introducing-open-images-dataset.html


地理空间数据


  • OpenStreetMap：免费提供整个星球的矢量数据。它包含（旧版）美国人口普查局的数据。

  • 地址：http://wiki.openstreetmap.org/wiki/Planet.osm


  • Landsat8：整个地球表面的卫星视角图，每隔几周更新一次。

  • 地址：https://landsat.usgs.gov/landsat-8


  • NEXRAD：美国大气层的多普勒雷达扫描图。

  • 地址： https://www.ncdc.noaa.gov/data-access/radar-data/nexrad


————————我是深度学习图像的分割线————————


人工数据集


  • Arcade Universe：一个人工数据集生成器，图像包含街机游戏 sprite，如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器。

  • 地址：https://github.com/caglar/Arcade-Universe


  • 以 Baby AI School 为灵感的数据集集合。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAISchool


  • Baby AI Shapes Dataset：区分 3 种简单形状。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIShapesDatasets


  • Baby AI Image And Question Dataset：一个问题-图像-答案数据集。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIImageAndQuestionDatasets


  • Deep Vs Shallow Comparison ICML2007：为实证评估深层架构而生成的数据集。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DeepVsShallowComparisonICML2007


  • MnistVariations：在 MNIST 中引入受控变化。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/MnistVariations


  • RectanglesData：区分宽矩形和垂直矩形。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData


  • ConvexNonConvex：区分凸形和非凸形状。

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/ConvexNonConvex


  • BackgroundCorrelation：嘈杂 MNIST 背景下相关度的控制

  • 地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BackgroundCorrelation


人脸数据集


  • Labelled Faces in the Wild：13000 个经过裁剪的人脸区域（使用已经用名称标识符标记过的 Viola-Jones）。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。

  • 地址：http://vis-www.cs.umass.edu/lfw/


  •  UMD Faces：有 8501 个主题的 367，920 个面孔的带注释数据集。

  • 地址：http://www.umdfaces.io/


  • CASIA WebFace：超过 10，575 个人经面部检测的 453，453 张图像的面部数据集。需要一些质量过滤。

  • 地址：http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html


  • MS-Celeb-1M：100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。

  • 地址：https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/


  • Olivetti：一些人类的不同图像。

  • 地址：http://www.cs.nyu.edu/~roweis/data.html


  • Multi-Pie：The CMU Multi-PIE Face 数据库。

  • 地址：http://www.multipie.org/


  • Face-in-Action：http://www.flintbox.com/public/project/5486/


  • JACFEE：日本和白种人面部情绪表达的图像。

  • 地址：http://www.humintell.com/jacfee/


  • FERET：面部识别技术数据库。

  • 地址：http://www.itl.nist.gov/iad/humanid/feret/feret_master.html


  • mmifacedb：MMI 面部表情数据库。

  • 地址：http://www.mmifacedb.com/


  • IndianFaceDatabase：http://vis-www.cs.umass.edu/~vidit/IndianFaceDatabase/


  • 耶鲁人脸数据库：http://vision.ucsd.edu/content/yale-face-database


  • 耶鲁人脸数据库 B：http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html


  •  Mut1ny 头部/面部分割数据集：像素超过 16K 的面部/头部分割图像

  • 地址：http://www.mut1ny.com/face-headsegmentation-dataset


————————我是深度学习视频的分割线————————


视频数据集


  • Youtube-8M：用于视频理解研究的大型多样化标记视频数据集。

  • 地址：https://research.googleblog.com/2016/09/announcing-youtube-8m-large-and-diverse.html


文本数据集


  • 20 newsgroups：分类任务，将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一，通常可用作纯分类的基准或任何 IR /索引算法的验证。

  • 地址：http://qwone.com/~jason/20Newsgroups/


  • 路透社新闻数据集：（较旧）纯粹基于分类的数据集，包含来自新闻专线的文本。常用于教程。

  • 地址：https://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collection


  • 宾州树库：用于下一个单词或字符预测。

  • 地址：http://www.cis.upenn.edu/~treebank/


  • UCI‘s Spambase：来自著名的 UCI 机器学习库的（旧版）经典垃圾邮件数据集。根据数据集的组织细节，可以将它作为学习私人垃圾邮件过滤的基线。

  • 地址：https://archive.ics.uci.edu/ml/datasets/Spambase


  • Broadcast News：大型文本数据集，通常用于下一个单词预测。

  • 地址：http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC97S44


  • 文本分类数据集：来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等，范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo！和 AG。

  • 地址：https://drive.google.com/drive/u/0/folders/0Bz8a_Dbh9Qhbfll6bVpmNUtUcFdjYmF2SEpmZUZUcVNiMUw1TWN6RDV3a0JHT3kxLVhVR2M


  • WikiText：来自维基百科高质量文章的大型语言建模语料库，由 Salesforce MetaMind 策划。

  • 地址：http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/


  • SQuAD：斯坦福问答数据集——应用广泛的问答和阅读理解数据集，其中每个问题的答案都以文本形式呈现。

  • 地址：https://rajpurkar.github.io/SQuAD-explorer/


  • Billion Words 数据集：一种大型通用语言建模数据集。通常用于训练分布式单词表征，如 word2vec。

  • 地址：http://www.statmt.org/lm-benchmark/


  • Common Crawl：网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集，因为它可在万维网进行抓取。

  • 地址：http://commoncrawl.org/the-data/


  • Google Books Ngrams：来自 Google book 的连续字符。当单词首次被广泛使用时，提供一种简单的方法来探索。

  • 地址：https://aws.amazon.com/datasets/google-books-ngrams/


  • Yelp 开源数据集：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。

  • 地址：https://www.yelp.com/dataset


————————我是深度学习文本的分割线————————


问答数据集


  • Maluuba News QA 数据集：CNN 新闻文章中的 12 万个问答对。

  • 地址：https://datasets.maluuba.com/NewsQA


  • Quora 问答对：Quora 发布的第一个数据集，包含重复/语义相似性标签。

  • 地址：https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs


  • CMU Q / A 数据集：手动生成的仿真问/答对，维基百科文章对其难度评分很高。

  • 地址：http://www.cs.cmu.edu/~ark/QA-data/


  • Maluuba 面向目标的对话：程序性对话数据集，对话旨在完成任务或做出决定。常用于聊天机器人。

  • 地址：https://datasets.maluuba.com/Frames


  • bAbi：来自 Facebook AI Research（FAIR）的综合阅读理解和问答数据集。

  • 地址：https://research.fb.com/projects/babi/


  • The Children’s Book Test：Project Gutenberg 提供的儿童图书中提取的（问题+背景、答案）对的基线。用于问答（阅读理解）和仿真查找。

  • 地址：http://www.thespermwhale.com/jaseweston/babi/CBTest.tgz


情感数据集


  • 多领域情绪分析数据集：较旧的学术数据集。

  • 地址：http://www.cs.jhu.edu/~mdredze/datasets/sentiment/


  • IMDB：用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。

  • 地址：http://ai.stanford.edu/~amaas/data/sentiment/


  • Stanford Sentiment Treebank：标准情感数据集，在每个句子解析树的每个节点都有细粒度的情感注释。

  • 地址：http://nlp.stanford.edu/sentiment/code.html


推荐和排名系统


  • Movielens：来自 Movielens 网站的电影评分数据集，各类大小都有。

  • 地址：https://grouplens.org/datasets/movielens/


  • Million Song 数据集：Kaggle 上元数据丰富的大型开源数据集，可以帮助人们使用混合推荐系统。

  • 地址：https://www.kaggle.com/c/msdchallenge


  • Last.fm：音乐推荐数据集，可访问深层社交网络和其它可用于混合系统的元数据。

  • 地址：http://grouplens.org/datasets/hetrec-2011/


  • Book-Crossing 数据集：来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。

  • 地址：http://www.informatik.uni-freiburg.de/~cziegler/BX/


  • Jester：来自 73,421 名用户对 100 个笑话的 410 万个连续评分（分数从-10 至 10）。

  • 地址：http://www.ieor.berkeley.edu/~goldberg/jester-data/


  • Netflix Prize：Netflix 发布了他们的电影评级数据集的匿名版；包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现，只能提供非正式版。

  • 地址：http://www.netflixprize.com/


————————我是深度学习图表的分割线————————


网络和图形


  • Amazon Co-Purchasing：亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据，以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。

  • 地址：http://snap.stanford.edu/data/#amazon


  • Friendster 社交网络数据集：在变成游戏网站之前，Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。

  • 地址：https://archive.org/details/friendster-dataset-201107


语音数据集


  • 2000 HUB5 English：最近在 Deep Speech 论文中使用的英语语音数据，从百度获取。

  • 地址：https://catalog.ldc.upenn.edu/LDC2002T43


  • LibriSpeech：包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成，包含带有文本和语音的章节。

  • 地址：http://www.openslr.org/12/


  • VoxForge：带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。

  • 地址：http://www.voxforge.org/


  • TIMIT：英语语音识别数据集。

  • 地址：https://catalog.ldc.upenn.edu/LDC93S1


  • CHIME：嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成，仿真录音由多个语音环境和清晰的无噪声录音结合而成。

  • 地址：http://spandh.dcs.shef.ac.uk/chime_challenge/data.html


  • TED-LIUM：TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录。

  • 地址：http://www-lium.univ-lemans.fr/en/content/ted-lium-corpus


————————我是深度学习音频的分割线————————


音符音乐数据集


  • Piano-midi.de: 古典钢琴曲

  • 地址：http://www.piano-midi.de/


  • Nottingham : 超过 1000 首民谣

  • 地址：http://abc.sourceforge.net/NMD/


  • MuseData: 古典音乐评分的电子图书馆

  • 地址：http://musedata.stanford.edu/


  • JSB Chorales: 四部协奏曲

  • 地址：http://www.jsbchorales.net/index.shtml


其它数据集


  • CMU 动作抓取数据集：http://mocap.cs.cmu.edu/


  • Brodatz dataset：纹理建模。

  • 地址：http://www.ux.uis.no/~tranden/brodatz.html


  • 来自欧洲核子研究中心的大型强子对撞机（LHC）的 300TB 高质量数据。

  • 地址：http://opendata.cern.ch/search?ln=en&p=Run2011A+AND+collection:CMS-Primary-Datasets+OR+collection:CMS-Simulated-Datasets+OR+collection:CMS-Derived-Datasets


  • 纽约出租车数据集：由 FOIA 请求而获得的纽约出租车数据，导致隐私问题。

  • 地址：http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml


  • Uber FOIL 数据集：来自 Uber FOIL 请求的纽约 4.5M 拾取数据。

  • 地址：https://github.com/fivethirtyeight/uber-tlc-foil-response


  • Criteo 点击量数据集：来自欧盟重新定位的大型互联网广告数据集。

  • 地址：http://research.criteo.com/outreach/


健康 &生物数据


  • 欧盟传染病监测图集：http://ecdc.europa.eu/en/data-tools/atlas/Pages/atlas.aspx


  • 默克分子活动挑战：http://www.kaggle.com/c/MerckActivity/data


  • Musk dataset: Musk dataset 描述了以不同构造出现的分子。每个分子都是 musk 或 non-musk，且其中一个构造决定了这一特性。

  • 地址：https://archive.ics.uci.edu/ml/datasets/Musk+(Version+2)


政府&统计数据


  • Data USA: 最全面的可视化美国公共数据。

  • 地址：http://datausa.io/


  • 欧盟性别统计数据库：http://eige.europa.eu/gender-statistics


  • 荷兰国家地质研究数据 ：http://www.nationaalgeoregister.nl/geonetwork/srv/dut/search#fast=index&from=1&to=50&any_OR_geokeyword_OR_title_OR_keyword=landinrichting*&relation=within


  • 联合国开发计划署项目：http://open.undp.org/#2016

工程数据集开源
302
相关数据
深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.
基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary
词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科
文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋（BOW）模型、语言模型（ngram）和主题模型。隐马尔可夫模型通常用于词性标注（POS）。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

来源：机器之心
解析树技术

解析树是一个内部结构，由编译器或解释器在解析一些语言结构时创建，解析也被称为“语法分析”。

来源：Wikipedia
推荐系统技术

推荐系统（RS）主要是指应用协同智能（collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

来源：机器之心
映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia
语料库技术

语料库一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记；事实上，语料库英文 "text corpus" 的涵意即为"body of text"。

来源：维基百科
分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia
聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。 聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科
语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?
word2vec技术

Word2vec，为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。 训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。该向量为神经网络之隐藏层。 Word2vec依赖skip-grams或连续词袋（CBOW）来建立神经词嵌入。Word2vec为托马斯·米科洛夫（Tomas Mikolov）在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

来源：维基百科
登录后评论
mark
请问有没有按相机设备分类的数据集呢
返回顶部