去哪找數(shù)據(jù)？怎么挖掘？

數(shù)碼桃桃

本文轉自簡道云的知乎回答：有哪些「神奇」的數(shù)據(jù)獲取方式？

已經將網站匯總成表格，大家可以下載查看：【簡道云匯總】110+數(shù)據(jù)網站
如果你不是會爬蟲的技術流，那下面這110+網站可以解決你90%的數(shù)據(jù)需求。
首先，常見的公開數(shù)據(jù)網站在https://hao.199it.com/都可以搜索到。

登錄/注冊后可看大圖

除此之外，補充上面沒有的一些網站，一共110+，按需選擇：
金融財經數(shù)據(jù)

• 同花順數(shù)據(jù)中心：提供股票債券等金融數(shù)據(jù)
  
• 和訊數(shù)據(jù)：提供各種股票、基金、外匯、債券等實時數(shù)據(jù)，有付費，有免費
  
• 零壹財經：大大小小的網貸數(shù)據(jù)、排行榜等
  
• 金融數(shù)據(jù)網：提供每日的黃金、匯率、農產品、汽油價格的相關數(shù)據(jù)
  
• 蘿卜投研：提供股市、證券等數(shù)據(jù)，多以數(shù)據(jù)研究報告形式展示
  
• 金融界：提供股市、融資等各種資金流向數(shù)據(jù)，以及豐富的財報和研報
  
• 東方財富網：提供多國的股票、財稅、行業(yè)、消費等大量豐富的經濟數(shù)據(jù)
  
• 吉林金融網：提供吉林的融資、市場數(shù)據(jù)
  
• 搜狐證券：提供貨幣、外匯、行業(yè)、市場等宏觀數(shù)據(jù)
  
• CCER經濟金融數(shù)據(jù)庫：提供企業(yè)財務年度數(shù)據(jù)、股票收益數(shù)據(jù)等數(shù)據(jù)庫下載
  
• 香港金融管理局：提供香港的各種經濟及金融數(shù)據(jù)，以宏觀數(shù)據(jù)為主
  
• 世紀未來：數(shù)據(jù)服務平臺，提供銀行業(yè)務研究、金融大數(shù)據(jù)等各種付費數(shù)據(jù)
  
• 新浪財經：提供國內國民經濟、行業(yè)信息、對外經貿、居民收入等各種宏觀的經濟數(shù)據(jù)
  
• 司爾亞司數(shù)據(jù)信息有限公司：覆蓋超過195+個國家的經濟數(shù)據(jù)庫，數(shù)據(jù)全面但收費
  
• INSEE數(shù)據(jù)：法國統(tǒng)計與經濟研究院公開數(shù)據(jù)
  
• 投中研究院：提供投資領域的分析報告，網站更新頻率較高
  

互聯(lián)網數(shù)據(jù)

營銷查詢：

• 5118 / chinaz：支持查詢網站排名及發(fā)展趨勢、百度收錄情況等信息
  
• 百度指數(shù)：百度旗下/以百度網民行為數(shù)據(jù)為基礎的數(shù)據(jù)分享平臺，支持查詢需求圖譜
  
• 微信指數(shù)：微信旗下/基于微信大數(shù)據(jù)分析的移動端指數(shù)，打開微信→搜索“微信指數(shù)”可用
  
• 移動觀象臺：基于移動設備用戶的操作行為，提供應用、公眾號排行等，以及大量數(shù)據(jù)報告
  
• 新榜/微小寶/易贊：幾款工具比較類似，支持查看公眾號排行、看公眾號人群畫像等功能
  
• 阿里指數(shù)：阿里旗下/反映淘寶平臺市場動向的數(shù)據(jù)分析平臺
  

報告分析：

• 易觀智庫：199IT導航的母網站，權威的互聯(lián)網數(shù)據(jù)平臺，涵蓋戰(zhàn)略新興產業(yè)、電商互聯(lián)網、共享經濟、社交營銷、移動互聯(lián)網以及其他互聯(lián)網服務的數(shù)據(jù)及分析報告
  
• 艾瑞網：高頻率更新互聯(lián)網前沿的新聞資訊、分析報告，旗下包括艾瑞指數(shù)、艾瑞咨詢等
  
• 艾媒網：艾媒與艾瑞無關，艾媒網發(fā)布的研究報告多偏向移動互聯(lián)網方向
  
• CBNDdata：以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎，輸出產業(yè)經濟分析報告
  
• QuestMobile：周期性地發(fā)布一些關于APP的研究報告
  
• 阿里研究院：阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告，內容多與阿里相關
  
• 360研究報告：360旗下/移動、PC、網站、企業(yè)、詐騙等安全領域的研究，以及大數(shù)據(jù)等非安全領域的研究
  
• 中國互聯(lián)網信息研究中心：經國家主管部門批準組建的管理和服務機構，經常發(fā)布一些有價值的互聯(lián)網信息報告
  
• 中國信通院：針對互聯(lián)網多個行業(yè)的發(fā)展趨勢，發(fā)布白皮書，角度較為宏觀
  
• 中國互聯(lián)網數(shù)據(jù)平臺：提供全國各地區(qū)互聯(lián)網發(fā)展報告、基礎數(shù)據(jù)及研究分析報告，數(shù)據(jù)及報告偏向學術性研究
  
• 清博大數(shù)據(jù)：提供微信、微博、頭條榜單數(shù)據(jù)，各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  
• 數(shù)據(jù)觀：豐富的前沿行業(yè)資訊，及部分研究報告下載
  
• 騰訊大數(shù)據(jù)：數(shù)據(jù)服務平臺，提供調查研究、移動互聯(lián)網及特色數(shù)據(jù)報告，質量較高
  
• 大數(shù)據(jù)世界：提供大數(shù)據(jù)相關資訊、應用案例、技術方案及資料下載
  

地理數(shù)據(jù)

水土氣候數(shù)據(jù)：

• 水土保持生態(tài)建設網http://www.swcc.org.cn/
  
• 黃河風情http://www.yellowriver.org/
  
• 黃河流域數(shù)據(jù)中心http://henu.geodata.cn/index.jsp
  
• 黃土高原水土保護數(shù)據(jù)庫http://www.loess.csdb.cn/
  
• 數(shù)字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  
• 大氣科學數(shù)據(jù)庫http://data.iap.ac.cn/
  
• 中國氣象科學數(shù)據(jù)http://cdc.cma.gov.cn/
  
• 中國氣象科學數(shù)據(jù)共享服務網http://cdc.cma.gov.cn/
  
• 全球森林土地覆蓋動態(tài)http://www.fao.org/gtos/gofc-gold/
  
• FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林資源
  
• NOAAhttp://www.noaa.gov/美國國家海洋和大氣管理局
  
• NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美國國家氣候數(shù)據(jù)中心
  
• 國際水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  
• 氣候研究所http://www.cru.uea.ac.uk/
  
• 植被覆蓋數(shù)據(jù)http://www.vgt.vito.be/
  

環(huán)境數(shù)據(jù)：

• 黃土區(qū)農業(yè)與生態(tài)環(huán)境數(shù)據(jù)分中心http://loess.geodata.cn/
  
• 東北黑土農業(yè)生態(tài)數(shù)據(jù)庫http://www.blackland.csdb.cn/default.asp
  
• 中國西部環(huán)境與生態(tài)科學數(shù)據(jù)中心http://westdc.westgis.ac.cn/
  
• 西部數(shù)據(jù)中心http://westdc.westgis.ac.cn/data
  
• 黃土高原區(qū)域數(shù)據(jù)共享運行服務中心http://loess.geodata.cn/Portal/?isCookieChecked=true
  

遙感數(shù)據(jù)：

• 地面站RS地圖查詢http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  
• 甘肅省基礎地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  
• 遙感數(shù)據(jù)網絡資源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  
• 中國遙感數(shù)據(jù)網http://ids.ceode.ac.cn/
  
• GLCF http://glcf.geodata.cn/etm/Welcome.do
  
• GIS FORUM http://www.gisforum.net/全球最大的GIS中文門戶網站
  
• 遙感數(shù)據(jù)共享http://ids.ceode.ac.cn/
  

其他自然人文數(shù)據(jù)：

• 地理國情監(jiān)測云平臺 http://www.dsac.cn/
  
• 中國資源衛(wèi)星應用中心 http://www.cresda.com/cn/profile.htm
  
• 中國自然資源數(shù)據(jù)庫 http://www.data.ac.cn/index.asp
  
• 中國科學院資源環(huán)境科學數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  
• 中國地球系統(tǒng)科學數(shù)據(jù)共享網 http://www.geodata.cn:8086/Metadata/index.jsp
  
• 國家地球系統(tǒng)科學數(shù)據(jù)共享服務平臺 http://www.geodata.cn/
  
• PM25.in | PM2.5(細顆粒物)及空氣質量指數(shù)(AQI)實時查詢！：中國空氣質量監(jiān)測實時數(shù)據(jù)http://pm25.in/
  
• 國際科學數(shù)據(jù)服務平臺 http://datamirror.csdb.cn/index.jsp
  
• 原始數(shù)據(jù)搜索 https://wist.echo.nasa.gov/api
  
• 中國科學院資源環(huán)境科學數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  
• 世界聚集人口數(shù)據(jù) http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  
• 光譜數(shù)據(jù)分析網站 http://modis.gsfc.nasa.gov/
  
• 美國航空航天局NASA http://daac.gsfc.nasa.gov/
  
• 城市軌道交通http://www.ntsg.umt.edu/
  
• 人地系統(tǒng)主題數(shù)據(jù)庫http://webpanda.iis.u-tokyo.ac.jp/
  

影像數(shù)據(jù)：

• USGS Earth Explorer：提供Landsat、MODIS等數(shù)據(jù)
  
• ESA’s Sentinel Mission：提供Sentinel系列衛(wèi)星數(shù)據(jù)，可以下載歐洲航天局所屬的影像數(shù)據(jù)
  
• NOAA CLASS：提供高品質大氣數(shù)據(jù)集，包括美國國防部（DoD）、極地作戰(zhàn)環(huán)境衛(wèi)星（POES）、NOAA的地球靜止環(huán)境衛(wèi)星（GOES）以及其他派生數(shù)據(jù)
  
• NASA Reverb：提供多種類數(shù)據(jù)，包括：Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  
• EOLi：歐洲航天局的地球觀測目錄和訂購服務的客戶，通過Java 程序下載數(shù)據(jù)，支持的數(shù)據(jù)包括：Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  
• INPE：提供中巴資源衛(wèi)星數(shù)據(jù)
  
• Bhuvan Indian Geo-Platform of ISRO：提供印度境內的MS-1， Cartosat,，OceanSat and ResourceSat數(shù)據(jù)以及全球的NVDI數(shù)據(jù)、南亞國家的CartoDem Version -3R1數(shù)據(jù)和北印度洋的氣候數(shù)據(jù)
  

政府數(shù)據(jù)

• 新加坡政府公開數(shù)據(jù)：提供新加坡各類數(shù)據(jù)
  
• 美國政府公開數(shù)據(jù)：提供美國全國各類數(shù)據(jù)
  
• 法國政府公開數(shù)據(jù)：法國政府開放數(shù)據(jù)平臺
  
• 英國政府公開數(shù)據(jù)：提供英國各類數(shù)據(jù)
  
• 國家數(shù)據(jù)：中國國家統(tǒng)計局權威數(shù)據(jù)
  
• 中國統(tǒng)計年鑒：1999年至今中國統(tǒng)計年鑒，國家統(tǒng)計局官網，提供單頁Excel文件下載
  
• 中國統(tǒng)計信息網：全國及各級政府各年度統(tǒng)計公報、年鑒等，為收費數(shù)據(jù)
  
• 年鑒汪：全國城市統(tǒng)計數(shù)據(jù)搜索引擎，瀏覽免費，下載收費
  
• 倫敦市公開數(shù)據(jù)：提供倫敦人口、就業(yè)、環(huán)境等各類數(shù)據(jù)
  
• 國土資源部：國土資源部對外公開的信息報告
  

其他細分行業(yè)數(shù)據(jù)

• 中研網數(shù)據(jù)：提供醫(yī)療、房產、制造業(yè)、服務業(yè)、零售消費、車輛等全行業(yè)數(shù)據(jù)
  
• 中國報告大廳：提供各行各業(yè)的基礎數(shù)據(jù)、調查報告、分析報告、預測報告，種類豐富
  
• CADMAPPER：世界各大城市的DXF文件，原始數(shù)據(jù)源為OSM，NASA，USGS
  
• 亞馬遜網絡服務公共數(shù)據(jù)集：跨科學云數(shù)據(jù)平臺，包含化學、生物、經濟等多個領域的數(shù)據(jù)集
  
• Awesome Public Datasets：Github公共數(shù)據(jù)搜集項目，自然科學、社會科學覆蓋較面，包含各個細分領域的數(shù)據(jù)庫資源。
  
• figshare：數(shù)據(jù)分析與研究成果共享平臺。
  
• 英國公開數(shù)據(jù)瀏覽工具：James Trimble制作的英國數(shù)據(jù)可視化瀏覽工具集；
  
• 數(shù)據(jù)法國：法國各類數(shù)據(jù)的可視化呈現(xiàn)；
  
• DataEye：基于國內游戲、汽車行業(yè)數(shù)據(jù)，進行多角度的行業(yè)調查報告撰寫發(fā)布
  
• CBO中國票房：基于國內票房數(shù)據(jù)，統(tǒng)計票房排行、上座率等信息。
  
• 易車指數(shù)：反映國內汽車銷售市場，為購車者或汽車從業(yè)者提供參考的數(shù)據(jù)指數(shù)
  
• 高德地圖：支持實時查看國內交通情況，此外高德周期性提供一系列數(shù)據(jù)報告
  
• 房天下：提供中國指數(shù)研究院和CREIS中指數(shù)據(jù)，展示國內房地產數(shù)據(jù)情況
  
• 藝恩：CBO中國票房數(shù)據(jù)的提供方，提供一些行業(yè)數(shù)據(jù)報告，如動漫IP價值研究報告
  

除去現(xiàn)成的數(shù)據(jù)源，還有一塊就是用python爬取數(shù)據(jù)，這也是大數(shù)據(jù)的熱門模塊。
其實，想要快速學會python，除去一些基礎的理論知識外，最重要的就是項目！項目！項目！
就拿入門課程來舉例子吧，我為什么說它適合0基礎的呢？有3點：

• 會把學習進度分好，可以循序漸進的學習，不需要跳
  
• 每天的時間并不需要太多，20分鐘足矣
  
• 練習題足夠多和精
  

登錄/注冊后可看大圖

暫時就說這么多吧，想要學習完整的Python入門知識，在【夜曲編程】回復【免費教程】
有了數(shù)據(jù)之后，剩下的事情就是分析和展示數(shù)據(jù)了，這里介紹一下FineBI數(shù)據(jù)分析工具，如果你經常用Excel，可以用下這個數(shù)據(jù)分析工具，能很大程度上提高效率。
FineBI工具在這里：

登錄/注冊后可看大圖

數(shù)據(jù)分析工具，操作非常簡單，設計頁面類excel，直接拖拽數(shù)據(jù)字段就能生成圖表?？蛇x擇的圖表類型非常多，有很多創(chuàng)意十足的圖表令人眼前一亮，系統(tǒng)自帶的配色方案也好看。進階一點的話，還可以拿來制作Dashboard。

登錄/注冊后可看大圖

主要面對的是業(yè)務人員，不懂編程的也可快速上手，根據(jù)自己需求設計出儀表板來進行分析，不再麻煩技術人員去一個個要需求，浪費時間不說，還不能做出自己想要的效果。自己分析得出想要的結果，最終幫助企業(yè)做出正確的經營決策。它的可視化效果也是非常不錯的。

登錄/注冊后可看大圖

登錄/注冊后可看大圖

-----------------------------

在水。

本文轉自簡道云的知乎回答：有哪些「神奇」的數(shù)據(jù)獲取方式？

已經將網站匯總成表格，大家可以下載查看：【簡道云匯總】110+數(shù)據(jù)網站
如果你不是會爬蟲的技術流，那下面這110+網站可以解決你90%的數(shù)據(jù)需求。
首先，常見的公開數(shù)據(jù)網站在https://hao.199it.com/都可以搜索到。

登錄/注冊后可看大圖

除此之外，補充上面沒有的一些網站，一共110+，按需選擇：
金融財經數(shù)據(jù)

• 同花順數(shù)據(jù)中心：提供股票債券等金融數(shù)據(jù)
  
• 和訊數(shù)據(jù)：提供各種股票、基金、外匯、債券等實時數(shù)據(jù)，有付費，有免費
  
• 零壹財經：大大小小的網貸數(shù)據(jù)、排行榜等
  
• 金融數(shù)據(jù)網：提供每日的黃金、匯率、農產品、汽油價格的相關數(shù)據(jù)
  
• 蘿卜投研：提供股市、證券等數(shù)據(jù)，多以數(shù)據(jù)研究報告形式展示
  
• 金融界：提供股市、融資等各種資金流向數(shù)據(jù)，以及豐富的財報和研報
  
• 東方財富網：提供多國的股票、財稅、行業(yè)、消費等大量豐富的經濟數(shù)據(jù)
  
• 吉林金融網：提供吉林的融資、市場數(shù)據(jù)
  
• 搜狐證券：提供貨幣、外匯、行業(yè)、市場等宏觀數(shù)據(jù)
  
• CCER經濟金融數(shù)據(jù)庫：提供企業(yè)財務年度數(shù)據(jù)、股票收益數(shù)據(jù)等數(shù)據(jù)庫下載
  
• 香港金融管理局：提供香港的各種經濟及金融數(shù)據(jù)，以宏觀數(shù)據(jù)為主
  
• 世紀未來：數(shù)據(jù)服務平臺，提供銀行業(yè)務研究、金融大數(shù)據(jù)等各種付費數(shù)據(jù)
  
• 新浪財經：提供國內國民經濟、行業(yè)信息、對外經貿、居民收入等各種宏觀的經濟數(shù)據(jù)
  
• 司爾亞司數(shù)據(jù)信息有限公司：覆蓋超過195+個國家的經濟數(shù)據(jù)庫，數(shù)據(jù)全面但收費
  
• INSEE數(shù)據(jù)：法國統(tǒng)計與經濟研究院公開數(shù)據(jù)
  
• 投中研究院：提供投資領域的分析報告，網站更新頻率較高
  

互聯(lián)網數(shù)據(jù)

營銷查詢：

• 5118 / chinaz：支持查詢網站排名及發(fā)展趨勢、百度收錄情況等信息
  
• 百度指數(shù)：百度旗下/以百度網民行為數(shù)據(jù)為基礎的數(shù)據(jù)分享平臺，支持查詢需求圖譜
  
• 微信指數(shù)：微信旗下/基于微信大數(shù)據(jù)分析的移動端指數(shù)，打開微信→搜索“微信指數(shù)”可用
  
• 移動觀象臺：基于移動設備用戶的操作行為，提供應用、公眾號排行等，以及大量數(shù)據(jù)報告
  
• 新榜/微小寶/易贊：幾款工具比較類似，支持查看公眾號排行、看公眾號人群畫像等功能
  
• 阿里指數(shù)：阿里旗下/反映淘寶平臺市場動向的數(shù)據(jù)分析平臺
  

報告分析：

• 易觀智庫：199IT導航的母網站，權威的互聯(lián)網數(shù)據(jù)平臺，涵蓋戰(zhàn)略新興產業(yè)、電商互聯(lián)網、共享經濟、社交營銷、移動互聯(lián)網以及其他互聯(lián)網服務的數(shù)據(jù)及分析報告
  
• 艾瑞網：高頻率更新互聯(lián)網前沿的新聞資訊、分析報告，旗下包括艾瑞指數(shù)、艾瑞咨詢等
  
• 艾媒網：艾媒與艾瑞無關，艾媒網發(fā)布的研究報告多偏向移動互聯(lián)網方向
  
• CBNDdata：以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎，輸出產業(yè)經濟分析報告
  
• QuestMobile：周期性地發(fā)布一些關于APP的研究報告
  
• 阿里研究院：阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告，內容多與阿里相關
  
• 360研究報告：360旗下/移動、PC、網站、企業(yè)、詐騙等安全領域的研究，以及大數(shù)據(jù)等非安全領域的研究
  
• 中國互聯(lián)網信息研究中心：經國家主管部門批準組建的管理和服務機構，經常發(fā)布一些有價值的互聯(lián)網信息報告
  
• 中國信通院：針對互聯(lián)網多個行業(yè)的發(fā)展趨勢，發(fā)布白皮書，角度較為宏觀
  
• 中國互聯(lián)網數(shù)據(jù)平臺：提供全國各地區(qū)互聯(lián)網發(fā)展報告、基礎數(shù)據(jù)及研究分析報告，數(shù)據(jù)及報告偏向學術性研究
  
• 清博大數(shù)據(jù)：提供微信、微博、頭條榜單數(shù)據(jù)，各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  
• 數(shù)據(jù)觀：豐富的前沿行業(yè)資訊，及部分研究報告下載
  
• 騰訊大數(shù)據(jù)：數(shù)據(jù)服務平臺，提供調查研究、移動互聯(lián)網及特色數(shù)據(jù)報告，質量較高
  
• 大數(shù)據(jù)世界：提供大數(shù)據(jù)相關資訊、應用案例、技術方案及資料下載
  

地理數(shù)據(jù)

水土氣候數(shù)據(jù)：

• 水土保持生態(tài)建設網http://www.swcc.org.cn/
  
• 黃河風情http://www.yellowriver.org/
  
• 黃河流域數(shù)據(jù)中心http://henu.geodata.cn/index.jsp
  
• 黃土高原水土保護數(shù)據(jù)庫http://www.loess.csdb.cn/
  
• 數(shù)字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  
• 大氣科學數(shù)據(jù)庫http://data.iap.ac.cn/
  
• 中國氣象科學數(shù)據(jù)http://cdc.cma.gov.cn/
  
• 中國氣象科學數(shù)據(jù)共享服務網http://cdc.cma.gov.cn/
  
• 全球森林土地覆蓋動態(tài)http://www.fao.org/gtos/gofc-gold/
  
• FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林資源
  
• NOAAhttp://www.noaa.gov/美國國家海洋和大氣管理局
  
• NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美國國家氣候數(shù)據(jù)中心
  
• 國際水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  
• 氣候研究所http://www.cru.uea.ac.uk/
  
• 植被覆蓋數(shù)據(jù)http://www.vgt.vito.be/
  

環(huán)境數(shù)據(jù)：

• 黃土區(qū)農業(yè)與生態(tài)環(huán)境數(shù)據(jù)分中心http://loess.geodata.cn/
  
• 東北黑土農業(yè)生態(tài)數(shù)據(jù)庫http://www.blackland.csdb.cn/default.asp
  
• 中國西部環(huán)境與生態(tài)科學數(shù)據(jù)中心http://westdc.westgis.ac.cn/
  
• 西部數(shù)據(jù)中心http://westdc.westgis.ac.cn/data
  
• 黃土高原區(qū)域數(shù)據(jù)共享運行服務中心http://loess.geodata.cn/Portal/?isCookieChecked=true
  

遙感數(shù)據(jù)：

• 地面站RS地圖查詢http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  
• 甘肅省基礎地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  
• 遙感數(shù)據(jù)網絡資源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  
• 中國遙感數(shù)據(jù)網http://ids.ceode.ac.cn/
  
• GLCF http://glcf.geodata.cn/etm/Welcome.do
  
• GIS FORUM http://www.gisforum.net/全球最大的GIS中文門戶網站
  
• 遙感數(shù)據(jù)共享http://ids.ceode.ac.cn/
  

其他自然人文數(shù)據(jù)：

• 地理國情監(jiān)測云平臺 http://www.dsac.cn/
  
• 中國資源衛(wèi)星應用中心 http://www.cresda.com/cn/profile.htm
  
• 中國自然資源數(shù)據(jù)庫 http://www.data.ac.cn/index.asp
  
• 中國科學院資源環(huán)境科學數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  
• 中國地球系統(tǒng)科學數(shù)據(jù)共享網 http://www.geodata.cn:8086/Metadata/index.jsp
  
• 國家地球系統(tǒng)科學數(shù)據(jù)共享服務平臺 http://www.geodata.cn/
  
• PM25.in | PM2.5(細顆粒物)及空氣質量指數(shù)(AQI)實時查詢?。褐袊諝赓|量監(jiān)測實時數(shù)據(jù)http://pm25.in/
  
• 國際科學數(shù)據(jù)服務平臺 http://datamirror.csdb.cn/index.jsp
  
• 原始數(shù)據(jù)搜索 https://wist.echo.nasa.gov/api
  
• 中國科學院資源環(huán)境科學數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  
• 世界聚集人口數(shù)據(jù) http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  
• 光譜數(shù)據(jù)分析網站 http://modis.gsfc.nasa.gov/
  
• 美國航空航天局NASA http://daac.gsfc.nasa.gov/
  
• 城市軌道交通http://www.ntsg.umt.edu/
  
• 人地系統(tǒng)主題數(shù)據(jù)庫http://webpanda.iis.u-tokyo.ac.jp/
  

影像數(shù)據(jù)：

• USGS Earth Explorer：提供Landsat、MODIS等數(shù)據(jù)
  
• ESA’s Sentinel Mission：提供Sentinel系列衛(wèi)星數(shù)據(jù)，可以下載歐洲航天局所屬的影像數(shù)據(jù)
  
• NOAA CLASS：提供高品質大氣數(shù)據(jù)集，包括美國國防部（DoD）、極地作戰(zhàn)環(huán)境衛(wèi)星（POES）、NOAA的地球靜止環(huán)境衛(wèi)星（GOES）以及其他派生數(shù)據(jù)
  
• NASA Reverb：提供多種類數(shù)據(jù)，包括：Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  
• EOLi：歐洲航天局的地球觀測目錄和訂購服務的客戶，通過Java 程序下載數(shù)據(jù)，支持的數(shù)據(jù)包括：Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  
• INPE：提供中巴資源衛(wèi)星數(shù)據(jù)
  
• Bhuvan Indian Geo-Platform of ISRO：提供印度境內的MS-1， Cartosat,，OceanSat and ResourceSat數(shù)據(jù)以及全球的NVDI數(shù)據(jù)、南亞國家的CartoDem Version -3R1數(shù)據(jù)和北印度洋的氣候數(shù)據(jù)
  

政府數(shù)據(jù)

• 新加坡政府公開數(shù)據(jù)：提供新加坡各類數(shù)據(jù)
  
• 美國政府公開數(shù)據(jù)：提供美國全國各類數(shù)據(jù)
  
• 法國政府公開數(shù)據(jù)：法國政府開放數(shù)據(jù)平臺
  
• 英國政府公開數(shù)據(jù)：提供英國各類數(shù)據(jù)
  
• 國家數(shù)據(jù)：中國國家統(tǒng)計局權威數(shù)據(jù)
  
• 中國統(tǒng)計年鑒：1999年至今中國統(tǒng)計年鑒，國家統(tǒng)計局官網，提供單頁Excel文件下載
  
• 中國統(tǒng)計信息網：全國及各級政府各年度統(tǒng)計公報、年鑒等，為收費數(shù)據(jù)
  
• 年鑒汪：全國城市統(tǒng)計數(shù)據(jù)搜索引擎，瀏覽免費，下載收費
  
• 倫敦市公開數(shù)據(jù)：提供倫敦人口、就業(yè)、環(huán)境等各類數(shù)據(jù)
  
• 國土資源部：國土資源部對外公開的信息報告
  

其他細分行業(yè)數(shù)據(jù)

• 中研網數(shù)據(jù)：提供醫(yī)療、房產、制造業(yè)、服務業(yè)、零售消費、車輛等全行業(yè)數(shù)據(jù)
  
• 中國報告大廳：提供各行各業(yè)的基礎數(shù)據(jù)、調查報告、分析報告、預測報告，種類豐富
  
• CADMAPPER：世界各大城市的DXF文件，原始數(shù)據(jù)源為OSM，NASA，USGS
  
• 亞馬遜網絡服務公共數(shù)據(jù)集：跨科學云數(shù)據(jù)平臺，包含化學、生物、經濟等多個領域的數(shù)據(jù)集
  
• Awesome Public Datasets：Github公共數(shù)據(jù)搜集項目，自然科學、社會科學覆蓋較面，包含各個細分領域的數(shù)據(jù)庫資源。
  
• figshare：數(shù)據(jù)分析與研究成果共享平臺。
  
• 英國公開數(shù)據(jù)瀏覽工具：James Trimble制作的英國數(shù)據(jù)可視化瀏覽工具集；
  
• 數(shù)據(jù)法國：法國各類數(shù)據(jù)的可視化呈現(xiàn)；
  
• DataEye：基于國內游戲、汽車行業(yè)數(shù)據(jù)，進行多角度的行業(yè)調查報告撰寫發(fā)布
  
• CBO中國票房：基于國內票房數(shù)據(jù)，統(tǒng)計票房排行、上座率等信息。
  
• 易車指數(shù)：反映國內汽車銷售市場，為購車者或汽車從業(yè)者提供參考的數(shù)據(jù)指數(shù)
  
• 高德地圖：支持實時查看國內交通情況，此外高德周期性提供一系列數(shù)據(jù)報告
  
• 房天下：提供中國指數(shù)研究院和CREIS中指數(shù)據(jù)，展示國內房地產數(shù)據(jù)情況
  
• 藝恩：CBO中國票房數(shù)據(jù)的提供方，提供一些行業(yè)數(shù)據(jù)報告，如動漫IP價值研究報告
  

除去現(xiàn)成的數(shù)據(jù)源，還有一塊就是用python爬取數(shù)據(jù)，這也是大數(shù)據(jù)的熱門模塊。
其實，想要快速學會python，除去一些基礎的理論知識外，最重要的就是項目！項目！項目！
就拿入門課程來舉例子吧，我為什么說它適合0基礎的呢？有3點：

• 會把學習進度分好，可以循序漸進的學習，不需要跳
  
• 每天的時間并不需要太多，20分鐘足矣
  
• 練習題足夠多和精
  

登錄/注冊后可看大圖

暫時就說這么多吧，想要學習完整的Python入門知識，在【夜曲編程】回復【免費教程】
有了數(shù)據(jù)之后，剩下的事情就是分析和展示數(shù)據(jù)了，這里介紹一下FineBI數(shù)據(jù)分析工具，如果你經常用Excel，可以用下這個數(shù)據(jù)分析工具，能很大程度上提高效率。
FineBI工具在這里：
FineBI商業(yè)智能軟件 - 新一代自助大數(shù)據(jù)分析的BI工具

登錄/注冊后可看大圖

數(shù)據(jù)分析工具，操作非常簡單，設計頁面類excel，直接拖拽數(shù)據(jù)字段就能生成圖表。可選擇的圖表類型非常多，有很多創(chuàng)意十足的圖表令人眼前一亮，系統(tǒng)自帶的配色方案也好看。進階一點的話，還可以拿來制作Dashboard。

登錄/注冊后可看大圖

主要面對的是業(yè)務人員，不懂編程的也可快速上手，根據(jù)自己需求設計出儀表板來進行分析，不再麻煩技術人員去一個個要需求，浪費時間不說，還不能做出自己想要的效果。自己分析得出想要的結果，最終幫助企業(yè)做出正確的經營決策。它的可視化效果也是非常不錯的。

登錄/注冊后可看大圖

登錄/注冊后可看大圖

FineBI商業(yè)智能軟件 - 新一代自助大數(shù)據(jù)分析的BI工具

小心肝

答主整理了一些主流、免費、省力獲取數(shù)據(jù)的網站，推薦給大家。
一、中華人民共和國國家統(tǒng)計局>>國家數(shù)據(jù)
網址：http://data.stats.gov.cn/
主要包含：國民經濟、人口、對外經濟貿易、能源、財政、價格、農業(yè)、工業(yè)、運輸、旅游、教育、科技、衛(wèi)生等數(shù)據(jù)，可以按年度、季度、月度查詢。
可以免費下載

登錄/注冊后可看大圖

另外在國際數(shù)據(jù)目錄下，有“各國數(shù)據(jù)”，這里鏈接了各個國家的權威統(tǒng)計網站哦，善于科學上網，你就可以擁有這些數(shù)據(jù)！

登錄/注冊后可看大圖

二、世界銀行——各國發(fā)展數(shù)據(jù)
網址：https://data.worldbank.org.cn/ （cn域名的外國網站哦，不需科學上網，就能暢快瀏覽）
主要包含：各國相關的發(fā)展數(shù)據(jù)，而且資金等數(shù)據(jù)有多個維度可以查看。
數(shù)據(jù)可以免費下載

登錄/注冊后可看大圖

點擊數(shù)據(jù)目錄，就可以查看并下載相關數(shù)據(jù)啦。

登錄/注冊后可看大圖

登錄/注冊后可看大圖

以上，如果大家有關注B站的可視化作品的話，就會發(fā)現(xiàn)，90%UP主所使用的數(shù)據(jù)，都來自上面兩個網站。

登錄/注冊后可看大圖

三、GitHub——高質量公共數(shù)據(jù)集
網址：https://github.com/awesomedata/awesome-public-datasets
主要包含：農業(yè)、生物、計算機、天氣、經濟學、博物館、機器學習等你能想到的幾乎所有數(shù)據(jù)
大部分免費，部分收費
隨便截個目錄，給大家感受一下。

登錄/注冊后可看大圖

四、其他
國內也有很多企業(yè)數(shù)據(jù)交易的網站，但大多收費，Kaggle平臺上數(shù)據(jù)比較干凈也免費，但是需要會點代碼。
所以答主建議大家，如果僅是個人研究分析用的話，從上面三個網站上獲取主要數(shù)據(jù)就可以了。

婷婷吖

今天有個事情震驚到我了，某家公司為了找到在外部平臺發(fā)帖的員工，直接爬取另一家公司的數(shù)據(jù)？
拼多多的HR親自告訴大家數(shù)據(jù)獲取的一種方式，這年頭，如果不會爬取數(shù)據(jù)還不能做HR了？
內卷就是這么來的吧。

登錄/注冊后可看大圖

這數(shù)據(jù)可真有意思，比各種報告來的充實多了。
言歸正傳，還是要看一下數(shù)據(jù)的獲取方式的，這也是做數(shù)據(jù)分析的基礎。
一、怎么找數(shù)據(jù)？

• 搜索引擎，不多說，有啥事搜就完事了
  
• 一些不能被搜索工具搜到的東西，比如某信、某條
  
• 人脈數(shù)據(jù)，其實也就是信息差
  
• 公開數(shù)據(jù)，這個后面會提到
  

二、怎么看待數(shù)據(jù)？
并不是有了數(shù)據(jù)就能直接用的，你得去看看能不能用，準確性怎么樣，不然好不容易分析好一個東西，到頭來告訴你數(shù)據(jù)不對。
一個圖總結一下吧：

登錄/注冊后可看大圖

三、數(shù)據(jù)不準確怎么辦？
就像上面說的，不是所有的數(shù)據(jù)都是準確的，所以自己對各種數(shù)據(jù)需要有一個鑒別的能力，同時也有外部搜索的能力，看看能不能對上，不要怕麻煩。
好比數(shù)據(jù)分析或者數(shù)據(jù)分析師的價值，其實不是具體的數(shù)字，而是對于某個業(yè)務的總體趨勢判斷和結合外部數(shù)據(jù)進行綜合分析、理解。
四、常用的數(shù)據(jù)源
1、官方統(tǒng)計數(shù)據(jù)：
中國信通院-研究成果-權威發(fā)布-白皮書
中國經濟信息網
2、咨詢公司報告：
波士頓咨詢
貝恩咨詢
艾瑞咨詢
3、數(shù)據(jù)分析：
頭條指數(shù)
百度統(tǒng)計
4、第三方機構：
阿里研究院
IT桔子
騰訊大數(shù)據(jù)
199IT
易觀數(shù)據(jù)
5、媒體數(shù)據(jù)：
36氪研究院
總結：
就說到這里，不用太多，完全夠用了，以上內容由李啟方整理創(chuàng)作。
數(shù)據(jù)獲取之后，可以用FineBI進行分析：

                               
登錄/注冊后可看大圖

平安6。

數(shù)據(jù)來源主要有兩個部分。

• 一些數(shù)據(jù)源網站公開的數(shù)據(jù)。
  
• 通過爬取工具對網頁中的數(shù)據(jù)進行爬取。
  

爬蟲作為目前用的較多的數(shù)據(jù)爬取方法已經有很多教程了，但是對于沒有代碼基礎的朋友來說短期上手python還是很難得。
因此今天就帆軟君分別給大家介紹一下免費的數(shù)據(jù)源網站和一些零基礎小白也可以應用的數(shù)據(jù)爬取工具～
一、行業(yè)數(shù)據(jù)

互聯(lián)網數(shù)據(jù)

• 易觀智庫：199IT導航的母網站，權威的互聯(lián)網數(shù)據(jù)平臺，涵蓋戰(zhàn)略新興產業(yè)、電商互聯(lián)網、共享經濟、社交營銷、移動互聯(lián)網以及其他互聯(lián)網服務的數(shù)據(jù)及分析報告
  
• 艾瑞網：高頻率更新互聯(lián)網前沿的新聞資訊、分析報告，旗下包括艾瑞指數(shù)、艾瑞咨詢等
  
• 艾媒網：艾媒與艾瑞無關，艾媒網發(fā)布的研究報告多偏向移動互聯(lián)網方向
  
• CBNDdata：以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎，輸出產業(yè)經濟分析報告
  
• QuestMobile：周期性地發(fā)布一些關于APP的研究報告
  
• 阿里研究院：阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告，內容多與阿里相關
  
• 360研究報告：360旗下/移動、PC、網站、企業(yè)、詐騙等安全領域的研究，以及大數(shù)據(jù)等非安全領域的研究
  
• 中國互聯(lián)網信息研究中心：經國家主管部門批準組建的管理和服務機構，經常發(fā)布一些有價值的互聯(lián)網信息報告
  
• 中國信通院：針對互聯(lián)網多個行業(yè)的發(fā)展趨勢，發(fā)布白皮書，角度較為宏觀
  
• 中國互聯(lián)網數(shù)據(jù)平臺：提供全國各地區(qū)互聯(lián)網發(fā)展報告、基礎數(shù)據(jù)及研究分析報告，數(shù)據(jù)及報告偏向學術性研究
  
• 清博大數(shù)據(jù)：提供微信、微博、頭條榜單數(shù)據(jù)，各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  
• 數(shù)據(jù)觀：豐富的前沿行業(yè)資訊，及部分研究報告下載
  
• 騰訊大數(shù)據(jù)：數(shù)據(jù)服務平臺，提供調查研究、移動互聯(lián)網及特色數(shù)據(jù)報告，質量較高
  
• 大數(shù)據(jù)世界：提供大數(shù)據(jù)相關資訊、應用案例、技術方案及資料下載
  

二、免費的數(shù)據(jù)源網站

1、簡單、公開的數(shù)據(jù)集
先分享一些科研機構、企業(yè)、政府會開放的一些數(shù)據(jù)集和一些專業(yè)的數(shù)據(jù)下載網站。這些數(shù)據(jù)集一般都比較完善、質量相對較高，拿到手數(shù)據(jù)清洗的工作比較少，適合新手做一些簡單基礎的分析
1）中國統(tǒng)計信息網：http://www.tjcn.org/
全國各級政府各年度的國民經濟和社會發(fā)展統(tǒng)計信息，部分數(shù)據(jù)免費
2）國家統(tǒng)計局:http://www.stats.gov.cn/
各種民生相關的統(tǒng)計數(shù)據(jù)，而且所有數(shù)據(jù)都是免費，而且這個網站的友情鏈接里還有很多其他地方的數(shù)據(jù)以及國外數(shù)據(jù)。

登錄/注冊后可看大圖

3）中國產業(yè)信息網：http://www.chyxx.com/data/
包含了各個行業(yè)相關的數(shù)據(jù)，所有的數(shù)據(jù)全部免費，做行業(yè)分析經常用到的

登錄/注冊后可看大圖

4）美國政府公開數(shù)據(jù)：https://www.data.gov/
美國政府公開數(shù)據(jù)的網站，包含了經濟、消費、教育、醫(yī)療、農業(yè)等多個領域的數(shù)據(jù)
5）世界銀行：https://data.worldbank.org/
世界銀行的開放數(shù)據(jù)。平臺還提供了一些工具，比如開放數(shù)據(jù)目錄，世界發(fā)展指數(shù)，教育指數(shù)等。
6）百度數(shù)據(jù)開放平臺：https://open.baidu.com/open/#/open

登錄/注冊后可看大圖

7）國云數(shù)據(jù)市場：http://www.moojnn.com/data-market/
主要包含：生活服務、教育、能源、建筑、交通運輸、政府、金融、農業(yè)、醫(yī)療、衛(wèi)生等行業(yè)的數(shù)據(jù)，大部分免費，有些需要付費

登錄/注冊后可看大圖

2、數(shù)據(jù)可視化項目數(shù)據(jù)集
最常見的數(shù)據(jù)可視化項目就是制作某某地區(qū)人均收入?yún)^(qū)別的信息圖，找數(shù)據(jù)可視化項目相關的數(shù)據(jù)集的時候，我們希望數(shù)據(jù)集盡量“干凈”，減少數(shù)據(jù)清洗的工作，數(shù)據(jù)要足夠有趣，能夠支撐起豐富的圖表，所以這類的數(shù)據(jù)可以去上面我的說一些公開數(shù)據(jù)網站找，另外我也列一些除了政府網站之外的相關網站：
1）FiveThirtyEight：http://fivethirtyeight.com/
這是互動式新聞與體育賽事的網站，網站中會發(fā)布許多數(shù)據(jù)相關的文章，這些文章中會把使用到的數(shù)據(jù)集發(fā)布在github上，除了獲取數(shù)據(jù)集，你還可以參考別人的項目過程
2）Socrata OpenData：https://opendata.socrata.com/
Socrata OpenData 網站包含多個清洗后的數(shù)據(jù)集，可以直接在瀏覽器中查看，也可以下載到本地進行可視化，大部分數(shù)據(jù)來源于美國政府。
3、數(shù)據(jù)建模、機器學習的數(shù)據(jù)集
1）UCI：https://archive.ics.uci.edu/ml/datasets.html
UCI是加州大學歐文分校開放的經典數(shù)據(jù)集，是機器學習領域最有名的數(shù)據(jù)存儲庫。包含各種數(shù)據(jù)集，比如經典的泰坦尼克號幸存預測到最新的數(shù)據(jù)（如空氣質量和GPS軌跡）。
2）阿里天池：https://tianchi.aliyun.com/
作為國內互聯(lián)網龍頭阿里巴巴旗下的大數(shù)據(jù)競賽網站，提供了很多比賽數(shù)據(jù)集可以練手，說不定還能順手拿個獎，賺點獎金

登錄/注冊后可看大圖

3）Kaggle：https://www.kaggle.com/datasets
Kaggle 是一個舉辦了多項機器學習競賽的數(shù)據(jù)科學社區(qū)。用戶可以自己上傳數(shù)據(jù)集，也可以通過某項競賽下載數(shù)據(jù)集，里面有不少別的平臺找不到的有趣數(shù)據(jù)集。

登錄/注冊后可看大圖

4）科賽網：https://www.kesci.com/home/project
這個網站提供了不少數(shù)據(jù)集可以免費下載，而且還有一些數(shù)據(jù)項目的比賽，不過整體來說項目的難度比較低，獎金也不是很多，學生參加的比較多，反正單純用來獲取數(shù)據(jù)集還是很不錯的

登錄/注冊后可看大圖

5）Quandl
這是一個包含經濟與金融數(shù)據(jù)的倉庫。其中的部分信息是免費的，但是大部分數(shù)據(jù)集需要購買，數(shù)據(jù)可以用來構建經濟指標預測或者股價分析模型等等。

登錄/注冊后可看大圖

4、大型數(shù)據(jù)集
有時候你可能只是想找一些大型的數(shù)據(jù)集來進行分析，分析的結果可能并不重要，重要的只是對于數(shù)據(jù)的讀取與分析過程，練習數(shù)據(jù)處理能力，這里我也列舉幾個用的比較多的網站：
1）AWS 公開數(shù)據(jù)集：https://www.amazon.com/aws
亞馬遜在其 Amazon Web Services 中提供了一些大型數(shù)據(jù)集可以免費下載，不過你得注冊一個aws賬戶，新用戶有免費訪問的權限

登錄/注冊后可看大圖

2）Google 公開數(shù)據(jù)集：https://cloud.google.com/bigquery/public-data/
Google提供了一些數(shù)據(jù)集作為其Big Query工具的一部分。包括 GitHub 公共資料庫的數(shù)據(jù)，Hacker News 的所有故事和評論。
3）Youtube標簽視頻數(shù)據(jù)集:https://research.google.com/youtube8m/
Youtube標簽視頻數(shù)據(jù)集包括來自4800個可視化實體的800萬個YouTube視頻ID和相關標簽。它具有數(shù)十億幀的預計算的、最先進的視覺功能。

登錄/注冊后可看大圖

三、數(shù)據(jù)爬取工具

1、Microsoft Excel
沒錯， Excel可以用來做數(shù)據(jù)爬取。雖然很多知道Excel可以用來做數(shù)據(jù)分析，但很少有人知道它還能用來爬數(shù)
2、火車頭采集器
官網地址：http://www.locoy.com/
火車頭是爬蟲界的元老了，是目前使用人數(shù)最多的互聯(lián)網數(shù)據(jù)抓取軟件。它的優(yōu)勢是采集不限網頁，不限內容，同時還是分布式采集，效率會高一些。不過它規(guī)則和操作設置在我看來有一些死板，對小白用戶來說上手也有點困難，需要有一定的網頁知識基礎
3、Google Sheet
使用Google Sheet爬取數(shù)據(jù)前，要保證三點：使用Chrome瀏覽器、擁有Google賬號、電腦已翻墻。
4、八爪魚采集器
網站：https://www.bazhuayu.com/
八爪魚采集器是用過最簡單易用的采集器，很適合新手使用。采集原理類似火車頭采集器，用戶設定抓取規(guī)則，軟件執(zhí)行。八爪魚的優(yōu)點是提供了常見抓取網站的模板，如果不會寫規(guī)則， 就直接用套用模板就好了。
它是基于瀏覽器內核實現(xiàn)可視化抓取數(shù)據(jù)，所以存在卡頓、采集數(shù)據(jù)慢的現(xiàn)象。不過整體來說還是不錯的，畢竟能基本滿足新手在短時間抓取數(shù)據(jù)的場景，比如翻頁查詢，Ajax 動態(tài)加載數(shù)據(jù)等。
5、GooSeeker 集搜客
網站：https://www.gooseeker.com/
集搜客也是一款容易上手的可視化采集數(shù)據(jù)工具。同樣能抓取動態(tài)網頁，也支持可以抓取手機網站上的數(shù)據(jù)，還支持抓取在指數(shù)圖表上懸浮顯示的數(shù)據(jù)。集搜客是以瀏覽器插件形式抓取數(shù)據(jù)。雖然具有前面所述的優(yōu)點，但缺點也有，無法多線程采集數(shù)據(jù)，出現(xiàn)瀏覽器卡頓也在所難免。
6、WebScraper
網址：https://webscraper.io/
WebScraper 是一款優(yōu)秀國外的瀏覽器插件。同樣也是一款適合新手抓取數(shù)據(jù)的可視化工具。我們通過簡單設置一些抓取規(guī)則，剩下的就交給瀏覽器去工作。
7、Scrapinghub
地址：https://scrapinghub.com/
如果你想抓取國外的網站數(shù)據(jù)，可以考慮 Scrapinghub。它是一個基于Python 的 Scrapy 框架的云爬蟲平臺，安裝和部署挺簡單的，但是操作界面是純英文的，不太友好，而且性價比不高，它提供的每個工具都是單獨收費的。
其實任何數(shù)據(jù)來源，看是一方面，分析也是一方面，如果要有分析的話，那就離不開一些可以自主使用的數(shù)據(jù)分析工具。
如果數(shù)據(jù)不簡單，數(shù)據(jù)量也很大，還有不少的數(shù)據(jù)處理工作，甚至你還想要一些酷炫的可視化效果，簡單快速上手，不妨用一些在線的圖表工具，但是前提是數(shù)據(jù)要在Excel中處理好，如果數(shù)據(jù)量大可能實現(xiàn)還要在數(shù)據(jù)庫中處理。
或者一蹴而就用BI分析工具，諸如FineBI（www.finebi.com），分析過程無代碼，可以很迅速的出結果，同時自帶的可視化圖表基本能滿足大部分使用需求了，適合企業(yè)級的數(shù)據(jù)分析，如果個人想拿來做做報告什么的也是非常輕松。

登錄/注冊后可看大圖

冰之雪

開放數(shù)據(jù)集

包括：      科研數(shù)據(jù)共享        數(shù)據(jù)算法競賽        政府公司分享

①Stanford Large Network Datasets
網站： Stanford Large Network Dataset Collection
網站里的數(shù)據(jù)還是挺多的，一般每個數(shù)據(jù)都是從具體的一篇論文里來的，也有一個對數(shù)據(jù)的說明。

登錄/注冊后可看大圖

推薦其中兩個比較好的：
soc_Pokec數(shù)據(jù)集  該數(shù)據(jù)集包含了斯洛伐克最流行的社交網站pokec的網絡信息。  以下是該數(shù)據(jù)集的基本信息

登錄/注冊后可看大圖

由于該數(shù)據(jù)集包含了非常詳盡完備的整個社交網站的網絡信息，是非常具有代表性的公開數(shù)據(jù)集。
這個數(shù)據(jù)集有一百六十多萬個節(jié)點，三千多萬條邊，文件足足半個G，是一個比較大的數(shù)據(jù)集了。
location-based online social networks  數(shù)據(jù)集

登錄/注冊后可看大圖

該數(shù)據(jù)集Gowalla是一個簽到網絡。它將用戶線上和線下行為很好地關聯(lián)了起來。
注意： 下面的網站要翻墻啦。
foursquare dataset  網址：https://sites.google.com/site/yangdingqi/home/foursquare-dataset  該數(shù)據(jù)集也是一個簽到網絡數(shù)據(jù)集
UCI Machine Learning Repository  跟機器學習相關的
CRAWDADYour Home for Data Science國內的兩個數(shù)據(jù)站點：
天池大數(shù)據(jù)眾智平臺-阿里云天池

DataCastle數(shù)據(jù)城堡國內的這些商業(yè)化程度高一點 里面還有一些付費的課程。
網絡爬蟲


進行數(shù)據(jù)分析工作首先需要獲取數(shù)據(jù)，爬蟲則是獲取互聯(lián)網上公開數(shù)據(jù)的一項利器，也是數(shù)據(jù)分析師一項非常加分的技能。
網絡爬蟲可以分為兩種
基于網站API的爬取
基于網頁的爬取

登錄/注冊后可看大圖

就先這些吧~
還有一個很經典的，在社會網絡分析里。Network data
像里面的 空手道俱樂部，海豚網都非常入門 ， 導到Gephi里就可以進行網絡分析， 算是一點簡單的挖掘吧~

倔強毛驢

• 5W家創(chuàng)業(yè)公司和投資的信息https://public.tableau.com/s/sites/default/files/media/Resources/crunchbase_monthly_export_d43b4klo2ade53.xlsx
  
• 乘用車細分市場銷量預測數(shù)據(jù)集https://github.com/cxq80803716/2019-CCF-BDCI-Car_sales
  
• 1944-2020年的金球獎獲獎數(shù)據(jù) https://www.kaggle.com/unanimad/golden-globe-awards
  
• 6271家死亡公墓公司 https://www.kesci.com/home/dataset/5e023cd12823a10036af49b4/files
  
• 阿里巴巴移動電商平臺的真實用戶-商品行為數(shù)據(jù)集https://tianchi.aliyun.com/competition/entrance/231522/information
  
• 攜程房型產品用戶行為數(shù)據(jù)集 https://pan.baidu.com/s/1uWJxlry967J0T6sTfwDZ9w
  
• 2017年家庭金融調查數(shù)據(jù)庫https://www.kesci.com/home/dataset/5de7682fca27f8002c4cf67c/files
  
• 2019 Nature博士生調查數(shù)據(jù) figshare
  
• 知乎用戶數(shù)據(jù)集 https://www.kesci.com/home/dataset/5dc8c85cad7dde00367f2d85/files
  
• 2017年-2018年 關于申根簽證的數(shù)據(jù)集 https://www.kesci.com/home/dataset/5d663fb38499bc002c086af9/files
  
• 豆瓣讀書數(shù)據(jù)集 https://www.kesci.com/home/dataset/5cbeb2088c90d7002c822b18/files
  
• 來自淘寶2019年3月的口紅商品信息 https://www.kesci.com/home/dataset/5c8b2204b4536a002bcd18ae/files
  
• 去哪兒網—數(shù)據(jù)清洗 https://www.kesci.com/home/dataset/5cbd31e58c90d7002c816f5d/files
  
• 2015年至2017年國內主要城市的年度數(shù)據(jù)，涉及產值、人口、就業(yè)、教育等各方面指標。https://www.kesci.com/home/dataset/5c3bf64ee8dbbb002b7bb589/files
  
• 攜程出行產品未來14個月銷量預測數(shù)據(jù)集 https://cdn.kesci.com/ctrip14.zip
  
• 鏈家二手房數(shù)據(jù)集https://www.kesci.com/home/dataset/58acf5acd2445916845b402c/files
  

以上數(shù)據(jù)均來自和鯨社區(qū)
@科賽網Kesci
https://www.kesci.com/home/dataset


yulang：數(shù)據(jù)分析機器學習必備-各行業(yè)的信息（含鏈接）

暖寶寶

再補充幾個可以查宏觀數(shù)據(jù)的網站：
1、中國統(tǒng)計局：國家數(shù)據(jù) 可以查詢國家的各種數(shù)據(jù)，如GDP、CPI、總人口、社會消費品零售總額、糧食產量、PMI、PPI……數(shù)據(jù)可以免費下載成Excel文件，另外也推出了移動客戶端：數(shù)據(jù)中國pro
2、美聯(lián)儲經濟數(shù)據(jù)庫：Federal Reserve Economic Data 查詢到的數(shù)據(jù)以美國為主，也有少數(shù)其他的西方國家，可以查詢到50年代的數(shù)據(jù)，支持免費下載
3、世界銀行：World Bank Open Data 查詢全球各國相關各方面的宏觀數(shù)據(jù)，免費提供CSV文件下載（Excel可以直接打開），非常方便
4、IndexMundi：IndexMundi - Country Facts 包含詳細的全球各國的統(tǒng)計數(shù)據(jù)，可以按地區(qū)，國家，主題，行業(yè)部門和類型組織的幾千種指標。它并不是一個官方組織，而是一個第三方網站，但是整合了各種數(shù)據(jù)來源，查詢起來還是非常方便的，建議可以和世界銀行的數(shù)據(jù)一起結合使用。

————————————————————————————————————
耗費200小時，嘔心瀝血精選數(shù)據(jù)源，包含常用數(shù)據(jù)公開網站、政府開放網站、數(shù)據(jù)交易平臺，歡迎收藏。
一、公開數(shù)據(jù)庫

?1、常用數(shù)據(jù)公開網站

UCI：該網站目前維護了436個經典的機器學習、數(shù)據(jù)挖掘數(shù)據(jù)集，包含分類、聚類、回歸等問題下的多個數(shù)據(jù)集。

登錄/注冊后可看大圖

國家數(shù)據(jù)：數(shù)據(jù)來源中華人民共和國國家統(tǒng)計局，包含了我國經濟民生等多個方面的數(shù)據(jù)，并且在月度、季度、年度都有覆蓋，較為全面。

登錄/注冊后可看大圖

CEIC：涵蓋超過195個國家400多萬個時間序列的數(shù)據(jù)源，最完整的一套超過128個國家的經濟數(shù)據(jù)，能夠精確查找GDP、CPI、進口、出口、外資直接投資、零售、銷售以及國際利率等深度數(shù)據(jù)。

登錄/注冊后可看大圖

萬得：被譽為中國的Bloomberg，在金融業(yè)有著全面的數(shù)據(jù)覆蓋，金融數(shù)據(jù)的類目更新非?？?，據(jù)說很受國內的商業(yè)分析者和投資人的親睞。

登錄/注冊后可看大圖

搜數(shù)網：已加載到搜數(shù)網站的統(tǒng)計資料達到7,874本,涵蓋1,761,009張統(tǒng)計表格和364,580,479個統(tǒng)計數(shù)據(jù)，匯集了中國資訊行自92年以來收集的44個行業(yè)所有統(tǒng)計和調查數(shù)據(jù)。

登錄/注冊后可看大圖

中國統(tǒng)計信息網：國家統(tǒng)計局的官方網站，匯集了全國各級政府各年度的國民經濟和社會發(fā)展統(tǒng)計信息，建立了以統(tǒng)計公報為主，統(tǒng)計年鑒、階段發(fā)展數(shù)據(jù)、統(tǒng)計分析、經濟新聞、主要統(tǒng)計指標排行等。

登錄/注冊后可看大圖

亞馬遜：來自亞馬遜的跨科學云數(shù)據(jù)平臺，擁有免費且開源的數(shù)據(jù)庫，包含化學、生物、經濟等多個領域的數(shù)據(jù)集。

登錄/注冊后可看大圖

figshare：研究成果共享平臺，這里向全世界開放免費的研究成果及科學數(shù)據(jù)。

登錄/注冊后可看大圖

github：一個非常全面的數(shù)據(jù)獲取渠道，包含各個細分領域的數(shù)據(jù)庫資源，自然科學和社會科學的覆蓋都很全面，適合做研究和數(shù)據(jù)分析的人員。

登錄/注冊后可看大圖

2、政府開放數(shù)據(jù)

北京市政務數(shù)據(jù)資源網：包含競技、交通、醫(yī)療、天氣等數(shù)據(jù)。
深圳市政府數(shù)據(jù)開放平臺：交通、文娛、就業(yè)、基礎設施等數(shù)據(jù)。
上海市政務數(shù)據(jù)服務網：覆蓋經濟建設、文化科技、信用服務、交通出行等12個重點領域數(shù)據(jù)。
貴州省政府數(shù)據(jù)開放平臺：貴州省在政務數(shù)據(jù)開放方面做的確實不錯。
http://Data.gov：美國政府開放數(shù)據(jù)，包含氣候、教育、能源金融等各領域數(shù)據(jù)。
3、數(shù)據(jù)競賽網站

競賽的數(shù)據(jù)集通常干凈且科研性非常高。
DataCastle：專業(yè)的數(shù)據(jù)科學競賽平臺。
Kaggle：全球最大的數(shù)據(jù)競賽平臺。
天池：阿里旗下數(shù)據(jù)科學競賽平臺。
Datafountain：CCF制定大數(shù)據(jù)競賽平臺。
二、可以獲得有價值數(shù)據(jù)

這里給出了一些網站平臺，我們可p a網站上的數(shù)據(jù)，某些網站上也給出獲取數(shù)據(jù)的API接口，但需要付費。
1.財經數(shù)據(jù)
（1）新浪財經：免費提供接口，可在新浪財經上獲取獲取歷史和實時股票數(shù)據(jù)。
（2）東方財富網：可以查看財務指標或者根據(jù)財務指標選股。
（3）中財網：提供各類財經數(shù)據(jù)。
（4）黃金頭條：各種財經資訊。
（5）StockQ：國際股市指數(shù)行情。
（6）Quandl：金融數(shù)據(jù)界的維基百科。
（7）Investing：投資數(shù)據(jù)。
（8）整合的96個股票API合集。
（9）Market Data Feed and API：提供大量數(shù)據(jù)，付費，有試用期。
2.網貸數(shù)據(jù)
（1）網貸之家：包含各大網貸平臺不同時間段的放貸數(shù)據(jù)。
（2）零壹數(shù)據(jù)：各大平臺的放貸數(shù)據(jù)。
（4）網貸天眼：網貸平臺、行業(yè)數(shù)據(jù)。
（5）76676互聯(lián)網金融門戶：網貸、P2P、理財?shù)然ソ饠?shù)據(jù)。
3.公司年報
（1）巨潮資訊：各種股市咨詢，公司股票、財務信息。
（2）http://SEC.gov：美國證券交易數(shù)據(jù)
（3）HKEx news披露易：年度業(yè)績報告和年報。
4.創(chuàng)投數(shù)據(jù)
（1）36氪：最新的投資資訊。
（2）投資潮：投資資訊、上市公司信息。
（3）IT桔子：各種創(chuàng)投數(shù)據(jù)。
5.社交平臺
（1）新浪微博：評論、輿情數(shù)據(jù)，社交關系數(shù)據(jù)。
（2）Twitter：輿情數(shù)據(jù)，社交關系數(shù)據(jù)。
（3）知乎：優(yōu)質問答、用戶數(shù)據(jù)。
（4）微信公眾號：公眾號運營數(shù)據(jù)。
（5）百度貼吧：輿情數(shù)據(jù)
（6）Tumblr：各種福利圖片、視頻。
6.就業(yè)招聘
（1）拉勾：人才需求數(shù)據(jù)。
（2）中華英才網：招聘信息數(shù)據(jù)。
（3）智聯(lián)招聘：招聘信息數(shù)據(jù)。
（4）獵聘網：高端職位招聘數(shù)據(jù)。
7.餐飲食品
（1）美團外賣：區(qū)域商家、銷量、評論數(shù)據(jù)。
（2）百度外賣：區(qū)域商家、銷量、評論數(shù)據(jù)。
（3）餓了么：區(qū)域商家、銷量、評論數(shù)據(jù)。
（4）大眾點評：點評、輿情數(shù)據(jù)。
8.交通旅游
（1）12306：鐵路運行數(shù)據(jù)。
（2）攜程：景點、路線、機票、酒店等數(shù)據(jù)。
（3）去哪兒：景點、路線、機票、酒店等數(shù)據(jù)。
（4）途牛：景點、路線、機票、酒店等數(shù)據(jù)。
（5）貓途鷹：世界各地旅游景點數(shù)據(jù)，來自全球旅行者的真實點評。
類似的還有同程、驢媽媽、途家等
9.電商平臺
（1）亞馬遜：商品、銷量、折扣、點評等數(shù)據(jù)
（2）淘寶：商品、銷量、折扣、點評等數(shù)據(jù)
（3）天貓：商品、銷量、折扣、點評等數(shù)據(jù)
（4）京東：3C產品為主的商品信息、銷量、折扣、點評等數(shù)據(jù)
（5）當當：圖書信息、銷量、點評數(shù)據(jù)。
類似的唯品會、聚美優(yōu)品、1號店等。
10.影音數(shù)據(jù)
（1）豆瓣電影：國內最受歡迎的電影信息、評分、評論數(shù)據(jù)。
（2）時光網：最全的影視資料庫，評分、影評數(shù)據(jù)。
（3）貓眼電影專業(yè)版：實時票房數(shù)據(jù)，電影票房排行。
（4）網易云音樂：音樂歌單、歌手信息、音樂評論數(shù)據(jù)。
11.房屋信息
（1）58同城房產：二手房數(shù)據(jù)。
（2）安居客：新房和二手房數(shù)據(jù)。
（3）Q房網：新房信息、銷售數(shù)據(jù)。
（4）房天下：新房、二手房、租房數(shù)據(jù)。
（5）小豬短租：短租房源數(shù)據(jù)。
12.購車租車
（1）網易汽車：汽車資訊、汽車數(shù)據(jù)。
（2）人人車：二手車信息、交易數(shù)據(jù)。
（3）中國汽車工業(yè)協(xié)會：汽車制造商產量、銷量數(shù)據(jù)。
13.新媒體數(shù)據(jù)
新榜：新媒體平臺運營數(shù)據(jù)。
清博大數(shù)據(jù)：微信公眾號運營榜單及輿情數(shù)據(jù)。
微問數(shù)據(jù)：一個針對微信的數(shù)據(jù)網站。
知微傳播分析：微博傳播數(shù)據(jù)。
14.分類信息
（1）58同城：豐富的同城分類信息。
（2）趕集網：豐富的同城分類信息。
三、數(shù)據(jù)交易平臺

由于現(xiàn)在數(shù)據(jù)的需求很大，也催生了很多做數(shù)據(jù)交易的平臺，當然，除去付費購買的數(shù)據(jù)，在這些平臺，也有很多免費的數(shù)據(jù)可以獲取。
優(yōu)易數(shù)據(jù)：擁有國家級信息資源的數(shù)據(jù)平臺。包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數(shù)據(jù)資源。

登錄/注冊后可看大圖

數(shù)據(jù)堂：提供數(shù)據(jù)交易、處理和數(shù)據(jù)API服務，包含語音識別、醫(yī)療健康、交通地理、電子商務、社交網絡、圖像識別等方面的數(shù)據(jù)。

登錄/注冊后可看大圖

四、網絡指數(shù)

百度指數(shù)：指數(shù)查詢平臺，可以根據(jù)指數(shù)的變化查看某個主題在各個時間段受關注的情況，進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外，還有需求分析、人群畫像等精準分析的工具，對于市場調研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產品，都可以作為參考。

登錄/注冊后可看大圖

阿里指數(shù)：國內權威的商品交易分析工具，可以按地域、按行業(yè)查看商品搜索和交易數(shù)據(jù)，基于淘寶、天貓和1688平臺的交易數(shù)據(jù)基本能夠看出國內商品交易的概況。
友盟+全域羅盤：友盟在移動互聯(lián)網應用數(shù)據(jù)統(tǒng)計和分析具有較為全面的統(tǒng)計和分析，對于研究移動端產品、做市場調研、用戶行為分析很有幫助。除了友盟指數(shù)，友盟的互聯(lián)網報告同樣是了解互聯(lián)網趨勢的優(yōu)秀讀物。

登錄/注冊后可看大圖

愛奇藝指數(shù)：愛奇藝指數(shù)是專門針對視頻的播放行為、趨勢的分析平臺，對于互聯(lián)網視頻的播放有著全面的統(tǒng)計和分析，涉及到播放趨勢、播放設備、用戶畫像、地域分布等多個方面。由于愛奇藝龐大的用戶基數(shù)，該指數(shù)基本可以說明實際情況。

登錄/注冊后可看大圖

微指數(shù)：微指數(shù)是新浪微博的數(shù)據(jù)分析工具，微指數(shù)通過關鍵詞的熱議度，以及行業(yè)/類別的平均影響力，來反映微博輿情或賬號的發(fā)展走勢。分為熱詞指數(shù)和影響力指數(shù)兩大模塊，此外，還可以查看熱議人群及各類賬號的地域分布情況。

登錄/注冊后可看大圖

除了以上指數(shù)外，還有谷歌趨勢、搜狗指數(shù)、360趨勢、艾漫指數(shù)等等。
有了以上數(shù)據(jù)源，當然就可以做數(shù)據(jù)分析了。個人用戶推薦免費工具豌豆BI，企業(yè)用戶推薦企業(yè)數(shù)據(jù)分析工具億信ABI。無需下載安裝，直接云上試用。
億信豌豆BI-敏捷BI自助式分析工具|商業(yè)智能BI工具與大數(shù)據(jù)分析平臺億信ABI一站式大數(shù)據(jù)分析平臺-全能型數(shù)據(jù)可視化分析工具
關于億信華辰

億信華辰是中國專業(yè)的智能數(shù)據(jù)產品與服務提供商，一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲、治理、分析到智能應用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實現(xiàn)數(shù)據(jù)驅動、數(shù)據(jù)智能，已積累了8000多家用戶的服務和客戶成功經驗，為客戶提供數(shù)據(jù)分析平臺、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產品咨詢、實施和技術支持服務。

登錄/注冊后可看大圖

△億信華辰全產品架構圖（點擊查看大圖）


歡迎關注公眾號：億信華辰Pro
－讓數(shù)據(jù)驅動進步－

霸氣

主要來自電子政務；開放政府；政府數(shù)據(jù)；政府數(shù)據(jù)開放；大數(shù)據(jù)數(shù)據(jù)開放平臺。
這里匯總了幾十個公開數(shù)據(jù)源，可以點擊查看。
最全的中國開放數(shù)據(jù)(open data)及政府公開數(shù)據(jù)平臺匯總

登記表就

分享一個網址
https://github.com/caesar0301/awesome-public-datasets，github上的一個數(shù)據(jù)庫集合，里面有挺多數(shù)據(jù)的，大多都免費的，介紹如下：
This list of public data sources are collected and tidied from blogs, answers, and user responses. Most of the data sets listed below are free, however, some are not. Other amazingly awesome lists can be found in the
awesome-awesomeness and
sindresorhus's awesome list.
放個數(shù)據(jù)庫目錄導航

登錄/注冊后可看大圖

登錄/注冊后可看大圖