資料來源為 經濟部全國商工行政服務入口網 ,更新頻率為每個月一次,包含全台灣公司名單營業項目、資本額、董監事名單,以及台灣各商號資料等
將台灣公司資料的公司以董監事名單連結起來,只要輸入統一編號就可以看到以該公司為中心的公司關係圖
來自經濟部關務署的所有進出口貨物的進口出口國家、貨物項目申報的重量以及價值資料,以月為單位,並且有畫成圖表可以看出歷史的變化,資料從 2003 年開始,更新頻率為每個月
從 2011/11 開始收集每五分鐘抓取PTT熱門看板人氣數字,並記錄當時的板名,可以看出 PTT 各看板在各社會事件的人氣變化
從 2013/8 開始收集各網路媒體的新聞內容,並且追蹤是否有被刪除或是內容修改,以方便研究新聞修改原因,持續自動更新中
利用 NewsDiff 資料做的服務,可以輸入關鍵字,搜尋該關鍵字在各媒體出現的歷史記錄,以方便分析各媒體的新聞偏好以及事件的關注度
收集 2011/11 開始的每日四大報頭條新聞,以方便研究時事記錄以及研究媒體偏好
每十分鐘收集台電各種發電量數字,畫出歷史趨勢圖
收集台北市從民國 38 年到 102 年的建築使用執照掃描本,目前資料沒有再更新,正在處理其他來源希望可能直接針對全台灣資料做處理
利用影像處理將政治獻金的掃描圖檔抓出框線並切出每一個格子,並接力將每一格丟給 @ctiml 做的 http://campaign-finance.g0v.ctiml.tw/ 利用群眾外包來將掃描文件 OCR 出來
將 CSV 或是 GeoJSON 丟到 Github 之後,只需要把網址的 github.com 改成 github.ronny.tw 就可以直接瀏覽結果,因為 Github 是用 js 在瀏覽器畫出來,資料有 1MB 的限制, github.ronny.tw 是在 server 端畫好以 WMS 型式傳回來,因此資料無限制
收集各縣市違反勞基法公司名錄,並且做成 Chrome Extension ,讓使用者安裝之後,只要在瀏覽 104, 1111, 518, yes123 等人力銀行時,只要該公司在違法名單中就會跳出警告
針對 Facebook 的瀏覽器外掛,當塗鴉牆上分享的連結被人回報是有誤的新聞時,會跳出警告這是有害新聞。當你之前看過的新聞被人回報有誤時,也會跳出警告說你前幾日看的哪則新聞剛剛被人回報,避免錯誤的資訊被流傳。
提供幾種常見的網頁型式,讓想寫 Crawler 的人可以練習看看爬資料
LagNews 腿新聞,每日中午十二點推出,最不即時保證遲到30天才來的新聞,讓你複習看看是否還記得30天前台灣發生什麼
有多少新聞不到一個月就被我們遺忘了呢?
還有多少人在注意當初紅極一時的新聞,現在又變得如何了呢?
LagNews腿新聞,幫你複習 30 天前頭版新聞是什麼
看看你還記不記得當初有發生這件事
也看看30天後的今天,這件事情是否有後續發展,還是已經被遺忘了
從 台北市政府民政局 門牌整合檢索系統 爬下來的台北市門牌資料,一共有 27 萬個門牌和經緯度座標,這個資料是民政局人員人工測量的,因此比 Google Map 的座標更準確,座標是在門牌所在的位置上,例如那種一棟有 40 戶的社區,他的座標也是訂在各自門牌上而不是訂在馬路邊的門口
2013/4/26 爬的工廠資料,當時有將寫爬蟲的過程實況播出,目前錄影在 YouTube 上面
將 data.taipei.gov.tw 上面地理相關的資料,無論是用 Big5, UTF-8 或是 TWD67, TWD97 座標的都統一轉換成經緯度的 GeoJSON,不定期會更新
從 全國建築管理資訊系統 爬下來的全台灣建築執照名單,目前資料更新時間為 2013/12 ,之後會把這些資料做成一個定期更新的可以查詢的平台
將 http://easymap.land.moi.gov.tw/R02/Index 資料匯出後產生的 API
從 EcoLife清淨家園顧厝邊綠色生活網 爬下來的鄉鎮和村里用電量資料,每月自動更新一次
從 台北市建管處開放空間專區 抓取的 84年至99年間核發之建造執照涉有開放空間現已完工之建案名冊 轉換成 GeoJSON 的資料
從 臺灣地區地名資料 將資料依經緯度畫在地圖上面
從 國土測繪圖資網路地圖 中抓出來的五萬多筆地標的資訊
碧潭吊橋原先因為墩座被劃定為都更範圍需要移動而引發公民團體抗議,之後成功爭取到被劃定為古蹟,這邊收集了新聞稿中以及都更書提到的兩個範圍的地號,產生出了 GeoJSON 可以在地圖上比較範圍
結合 台北市建築執照記錄 以及 台北市門牌整理 資料,依建築執照號碼判斷年齡,畫出台北市的建築物年齡地圖
組合 ecolife.epa.gov.tw 的 2013 年家戶用電數 與 2010台灣鄉鎮市區界圖 組合的用電變化地圖
將 藍綠比例CSV 和 2010台灣村里界圖(github.ronny.tw) 組合成藍綠地圖
因為看到 PanSci 臉書 上面有分享一張 倫敦各區的人口密度 ,因此我拿了台灣的資料做了一個台灣版的
muyueh 發起的 50 天 50 張選舉圖表活動,我也認領了七張圖,這邊會陸續增加
透過 oldpaper.g0v.ronny.tw 歷史四大報的資料,以月為單位做出每個月的標籤雲,以了解每個月發生的大事有什麼