• 瀏覽: 6,685
  • 回覆: 37
  • 追帖: 8
[隱藏]
引用:
原帖由 我的無比膏 於 2021-3-12 12:51 PM 發表


axios 拎完content 會等同chrome view-source 相同的,streaming 就唔知

你試下爬hkjc 就知,證明你可能未遇過或未爬過
暫時爬hkjc 先會有,其他暫時未見過

利申: 每秒發十個request
Ok, 即刻試,睇吓究境有乜特別呢

[ 本帖最後由 form5 於 2021-3-12 11:10 PM 編輯 ]



熱賣及精選
done .... , 1 hour


附件

mypuppet_test.png(242.7 KB)

2021-3-13 12:04 AM

mypuppet_test.png

吾覺得有乜特別,主要負責download 同折解的f# code 得十幾行, 用puppeteer headless browser,係 dotnet core 5 上行

[ 本帖最後由 form5 於 2021-3-13 12:18 AM 編輯 ]



好多高人.... 
其實爬馬會數據有甚麼用 ? 



[隱藏]
引用:
原帖由 form5 於 2021-3-13 12:04 AM 發表

done .... , 1 hour
馬會有30幾萬條賽馬記錄,1個鐘好快喎



引用:
原帖由 春天一工人 於 2021-3-13 02:01 AM 發表

好多高人.... 
其實爬馬會數據有甚麼用 ? 
無用架



引用:
原帖由 林珍兒 於 2021-2-20 09:07 AM 發表

是咁的,前兩日有樓主出 post 問如何採集某網站數據。今日等我分享一下我的做法比大家參考⋯⋯

現時一般數據途徑可以大慨分為2類

1: 由外部直接採集返黎,例如:我想搵天氣數據,分析黎緊幾日會唔會落雨,而又不能直接下載返回,只有網頁,一頁一頁咁。

2: 內部數據庫,例如:客戶經銀行系統做轉賬,繳費等等,這些數據都會存在銀行數據庫。例如:我想分析這些數據,去決定邊d產品適合邊d客戶,而唔係全部 ...
要一點時間理解,但感謝分享



有冇試過htmlunit?你覺得邊個最好用?


提示:支持鍵盤翻頁左 右
[按此隱藏 Google 建議的相符內容]