註冊 登入



打印

[程式編寫] 神經網絡的一些基本算法及其效率的初步比較

[隱藏]
你們真是好專業, 香港比小討論 machine learning algorithms.
我都是剛看coursea Andrew Ng 的machine learning course.

我想請教各位如何set neural network bias and weight value.



實用相關搜尋: mac network IT 香港
引用:
原帖由 kcchan006 於 2018-3-11 10:48 PM 發表

你們真是好專業, 香港比小討論 machine learning algorithms.
我都是剛看coursea Andrew Ng 的machine learning course.

我想請教各位如何set neural network bias and weight value.
是指set Initial weight and bias?



實用相關搜尋: mac network IT 香港

回覆 引用 TOP

是, 請問用什麼準則來設定Initial weight and bias?





引用:
原帖由 kcchan006 於 2018-3-12 07:16 PM 發表

是, 請問用什麼準則來設定Initial weight and bias?
剛巧看 https://github.com/denizyuret/Knet.jl ,知道 Knet 有 xavier()
http://denizyuret.github.io/Knet.jl/latest/reference.html#Knet.xavier
提到相關 paper :
http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf



實用相關搜尋: IT

回覆 引用 TOP

[隱藏]
引用:
原帖由 kcchan006 於 2018-3-12 07:16 PM 發表

是, 請問用什麼準則來設定Initial weight and bias?
可以先試一下用以下的 NN 解 XOR 問題:
2 input -> 1 hidden (2 neurons) -> 1 output layer (1 neuron)
activation function: sigmond,
cost function: Mean square error
epochs: 2000

如果 set initial weight = 0, bias = 0,trains 完 2000 epochs,你會發覺 input (1, 1) 會得到錯誤的答案 (即 return 1) 。如果隨機去 set initial weight and bias,每次 trains 2000 epochs,會發現,有時會正確,有時會錯。這就是之前 ching 提過的 local minima 問題。

沒有一個放於四海皆準的準則,initial weight and bias 的值如何最有效率,按 NN 結構不同而改變,有些情況可以用數學方法分析,但一旦 NN 結構改變,又要再分析多一次,有時 NN 太複雜,根本分析唔到,所以大家用隨機方法去撞。



實用相關搜尋: IT

回覆 引用 TOP

謝謝你們, 我再研究下.
本人不是程式出身, 是工程出身, 但對 machine learning 演算法有興趣, 所以學下去, 可能比較困難. 可否在數學方面和理論著手重多些?
請問有什麼課程可可以了解到多些(網上或網下)?
是否在一些 master degree 會比較多AI 科目學習? 
Eg. ployu Applied Mathematics or computer science master
都有些 AI  科目.



實用相關搜尋: 程式 mac 網上 網上 課程 學習
引用:
原帖由 kcchan006 於 2018-3-14 12:00 AM 發表

謝謝你們, 我再研究下.
本人不是程式出身, 是工程出身, 但對 machine learning 演算法有興趣, 所以學下去, 可能比較困難. 可否在數學方面和理論著手重多些?
請問有什麼課程可可以了解到多些(網上或網下)?
是否在一 ...
做工程發到唔清唔楚, 仲洗鬼學呢 D 乜野 AI / ML  ... 老哥你幾多層樓渣手??



實用相關搜尋: 程式 mac 網上 網上 課程
引用:
原帖由 kcchan006 於 2018-3-14 12:00 AM 發表

謝謝你們, 我再研究下.
本人不是程式出身, 是工程出身, 但對 machine learning 演算法有興趣, 所以學下去, 可能比較困難. 可否在數學方面和理論著手重多些?
請問有什麼課程可可以了解到多些(網上或網下)?
是否在一 ...
基本  machine learning 論理,Shai Shalev-Shwartz 的書比較有系統:
https://www.amazon.com/Understanding-Machine-Learning-Theory-Algorithms/dp/1107057132

classical NN 可看下:
http://hagan.okstate.edu/nnd.html (免費的)
偏重數學推論,都是 Haykin 比較全面,但書中不少錯處,先看下 errata 較好:
https://www.amazon.com/Neural-Networks-Learning-Machines-3rd/dp/0131471392
https://www.cise.ufl.edu/~jnw/Haykin3eErrata.shtml

之前貼過些 deep learning 學習資料:
http://computer.discuss.com.hk/viewthread.php?tid=27270411

最後提 2 點,1. machine learning 依賴 advanced calculus, linear algebra, probability and statistics 知識,其 linear algebra, probability and statistics 是 applied maths 的範圍,由 applied maths 引申到 machine learning 似乎又合理,但課程可以學到多少 machine learning 的知識,樓主要自己看清楚。
2. machine learning 只是 AI 其中一個部份,AI 課程未必以 machine learning 為重點或中心展開,這些報讀前要了解清楚。






回覆 引用 TOP

引用:
原帖由 煙民母親生賤種 於 2018-3-14 03:06 發表

做工程發到唔清唔楚, 仲洗鬼學呢 D 乜野 AI / ML  ... 老哥你幾多層樓渣手??
...

[ 本帖最後由 rhwlam 於 2018-3-14 05:07 PM 編輯 ]



熱門搜尋: 染髮 護髮 脫髮問題 shampoo
不斷的向前走。走累了,停下來望望四周。突然發覺原來的地方才是目的地...

回覆 引用 TOP

[隱藏]
引用:
原帖由 kcchan006 於 2018-3-14 00:00 發表

謝謝你們, 我再研究下.
本人不是程式出身, 是工程出身, 但對 machine learning 演算法有興趣, 所以學下去, 可能比較困難. 可否在數學方面和理論著手重多些?
請問有什麼課程可可以了解到多些(網上或網下)?
是否在一 ...
小弟沒這麼幸福, 可以在大學修科目...
有時小弟會網上看一些online courses, 例如 mit open courseware (小弟特別喜歡這些教程, 因為很多是真的課堂錄影. 講解得仔細和過慢, 小弟才可以勉強跟得上). 如果是人工智能的入門科目, 小弟特別為閣下找了: https://ocw.mit.edu/courses/elec ... ligence-fall-2010/. 小弟試看了lecture 12B的影片, 這科目應該是十分好的教程.
共勉之!



實用相關搜尋: 程式 mac IT 網上 大學 網上 課程
不斷的向前走。走累了,停下來望望四周。突然發覺原來的地方才是目的地...

回覆 引用 TOP

本人都是 正在看 coursera.org Andrew Ng 的machine learning。我都學得好慢。


實用相關搜尋: mac

回覆 引用 TOP

師兄用咩方法黎做 line search?
個 strong wolfe 好似幾複雜,抄左 algo 寫代碼都好似唔多work 咁。

參考了 numerical optimization 一書







引用:
原帖由 stupidsing 於 2018-3-16 09:21 PM 發表

師兄用咩方法黎做 line search?
個 strong wolfe 好似幾複雜,抄左 algo 寫代碼都好似唔多work 咁。

參考了 numerical optimization 一書
stupidsing 兄有沒有試過 exactly minimize h,即 solve h'(x) = 0 in step (4) (Example Use section)。
https://en.wikipedia.org/wiki/Line_search







回覆 引用 TOP

引用:
原帖由 stupidsing 於 2018-3-16 21:21 發表

師兄用咩方法黎做 line search?
個 strong wolfe 好似幾複雜,抄左 algo 寫代碼都好似唔多work 咁。
參考了 numerical optimization 一書
請問甚麼是"algo"?



不斷的向前走。走累了,停下來望望四周。突然發覺原來的地方才是目的地...

回覆 引用 TOP

[隱藏]
algorithm... 抄左 pseudocode 


實用相關搜尋: IT

回覆 引用 TOP

 30 12
 提示:支持鍵盤翻頁 ←左 右→
[按此隱藏 Google 建議的相符內容]





重要聲明:本討論區是以即時上載留言的方式運作,香港討論區對所有留言的真實性、完整性及立場等,不負任何法律責任。而一切留言之言論只代表留言者個人意 見,並非本網站之立場,讀者及用戶不應信賴內容,並應自行判斷內容之真實性。於有關情形下,讀者及用戶應尋求專業意見(如涉及醫療、法律或投資等問題)。 由於本討論區受到「即時上載留言」運作方式所規限,故不能完全監察所有留言,若讀者及用戶發現有留言出現問題,請聯絡我們。香港討論區有權刪除任何留言及拒絕任何人士上載留言 (刪除前或不會作事先警告及通知 ), 同時亦有不刪除留言的權利,如有任何爭議,管理員擁有最終的詮釋權 。用戶切勿撰寫粗言穢語、誹謗、渲染色情暴力或人身攻擊的言論,敬請自律。本網站保留一切法律權利。


Copyright©2003- Discuss.com.hk Limited. All Right Reserved.
版權所有,不得轉載。