Chapter 12 Recurrent (Time Cycling) BackPropagation Networks
Struktur berulang dapat diperkenalkan ke jaringan saraf backpropagation dengan memberikan kembali output jaringan untuk input. Fitur berulang ini terdapat dalam langkah diskrit dari nilai perhitungan. Itu pertama diusulkan oleh Rumelhart et al. (1986) dan kemudian oleh Pineda (1988), Hecht {Nielson (1990) dan oleh Hertz et al. (1991). Pengaturan ini memungkinkan kerja backpropagation dengan sejumlah kecil lapisan tersembunyi dengan cara yang efektif.
Jaringan backpropagartion berulang dijelaskan pada Gambar. 12.1. Unsur-unsur penundaan (D pada Gambar. 12.1) memberikan umpan balik berulang yang terpisah antara Waktu-langkah. Gambar 12.1. Sebuah struktur jaringan saraf berulang.
A. Waktu Jaringan Berulang / Discrete
Jaringan Gambar. 12.1 menerima input x1 dan x2 pada berbagai langkah waktu satu urutan lengkap (set) yang consititutes siklus pertama. Nilai yang dihitung dalam jaringan back-propagasi konvensional dan mencapai lebih dari semua waktu langkah-langkah dari siklus tanpa penyesuaian nilai sebenarnya hingga akhir siklus itu. Pada setiap kali melangkah output y1 dan y2 diberikan sebagai input untuk waktu langkah berikutnya. Pada akhir satu scan lengkap dari semua masukan, siklus berikutnya dimulai dengan scan lengkap baru dari input yang sama dan langkah-langkah waktu seperti pada siklus sebelumnya. Ketika jumlah input berbeda dari jumlah output, maka struktur Gambar. 12.2 dapat digunakan.
Kedua struktur dalam Gambar. 12.1 dan 12.2 setara dengan struktur di mana jaringan dasar (kecuali untuk umpan balik dari satu langkah waktu untuk yang lain) diulang m-kali, untuk menjelaskan langkah-langkah waktu dalam struktur berulang. Lihat Gambar. 12.3.
B. Jaringan Berulang Sepenuhnya
Jaringan berulang sepenuhnya mirip dengan jaringan Sec. 12.1 kecuali pada lapisan umpan-balik ke lapisan sebelumnya, seperti pada Gambar. 12.4. Sekarang output pada setiap siklus menjadi masukan ke neuron berulang di siklus berikutnya.
C. Jaringan Back Propagation Terus Berulang
Jaringan Back Propagatian terus berulang menggunakan struktur yang sama seperti pada Gambar. 12.1 dan 12.2 tapi recurrency diulang lebih kecil di interval waktu. Oleh karena itu, recurrency mematuhi di sebuah persamaan diferensial seperti dalam jaringan Hop lapangan terus menerus, yaitu
di mana τ adalah waktu koefisien yang konstan, xi menjadi masukan eksternal, g (…) menunjukkan fungsi aktivasi, yi menunjukkan output dan vj menjadi output dari lapisan tersembunyi neuron. Untuk stabilitas diperlukan bahwa setidaknya satu solusi stabil Persamaan. (12.1) ada, yaitu bahwa
D. Recurrent Back Propagation Case Study : Character Recognition
Studi kasus ini s berkaitan dengan pemecahan suatu masalah pengenalan karakter sederhana dengan menggunakan jaringan backpropagation berulang. Tugas kita adalah untuk mengerjakan jaringan saraf untuk mengenali 3 karakter, yaitu, untuk memetakan mereka untuk masing-masing pasang f0,1g, f1,0g dan f1,1g. jaringan juga harus menghasilkan sinyal kesalahan khusus 0,0 dalam menanggapi karakter lain.
Design of neural network
Struktur: Jaringan saraf terdiri dari tiga lapisan dengan 2 neuron masing-masing, satulapisan output dan dua lapisan tersembunyi. Ada 36 masukan biasa ke jaringan dan 2 input yang terhubung ke 2 output kesalahan. Dengan demikian, total ada 38 input ke jaringan saraf. Jaringan saraf adalah sebagai Bagian dalam 6A, kecuali bahwa itu adalah jaringan berulang, sehingga output-nya y1 dan y2 diberikan sebagai tambahan input pada akhir setiap iterasi. Diagram struktural saraf kami jaringan diberikan pada Gambar. 12.A.1.
(A) Pelatihan Mode
Untuk melatih jaringan untuk mengenali karakter di atas kita diterapkan sesuai 6×6 grid dalam bentuk 1? 36 vektor ke input dari jaringan. tambahan dua input awalnya ditetapkan sama dengan nol dan dalam perjalanan prosedur pelatihan ditetapkan sama dengan kesalahan arus keluaran. Sebuah karakter dianggap diakui jika kedua output dari jaringan yang tidak lebih dari 0,1 o? masing-masing diinginkan nilai-nilai. Tingkat pembelajaran awal? telah eksperimen ditetapkan pada 1,5 dan menurun dengan faktor 2 setelah setiap iterasi 100. Sama seperti di propagasi kembali teratur (Bag. 6A), setelah setiap iterasi 400 kita ulang tingkat belajar nilai awalnya, untuk mencegah proses pembelajaran dari terjebak di minimum lokal. Kemudian setelah sekitar 3000 iterasi kami mampu benar mengenali semua dataset. Kami, bagaimanapun, terus sampai 5000 iterasi diselesaikan untuk memastikan bahwa nilai energi-kesalahan tidak dapat diturunkan lebih jauh.
TRAINING VECTOR 0: [ 0.0296153 0.95788 ] | RECOGNIZED |
TRAINING VECTOR 1: [ 0.963354 2.83491e-06 ] | RECOGNIZED |
TRAINING VECTOR 2: [ 0.962479 0.998554 ] | RECOGNIZED |
TRAINING VECTOR 3: [ 0.0162449 0.0149129 ] | RECOGNIZED |
TRAINING VECTOR 4: [ 0.0162506 0.0149274 ] | RECOGNIZED |
TRAINING VECTOR 5: [ 0.0161561 0.014852 ] | RECOGNIZED |
TRAINING VECTOR 6: [ 0.0168284 0.0153119 ] | RECOGNIZED |
TRAINING VECTOR 7: [ 0.016117 0.0148073 ] | RECOGNIZED |
TRAINING VECTOR 8: [ 0.016294 0.0149248 ] | RECOGNIZED |
Hasil Pengenalan (tes berjalan)
Kesalahan Deteksi: Untuk memeriksa kinerja deteksi kesalahan, kita diselamatkan diperoleh bobot menjadi data yang le, modifikasi ed dataset dalam program menggantikan karakter `G ‘,` H’ dan `I ‘(vektor pelatihan 6, 7 dan 8) dengan karakter` X’, `Y ‘dan` Z’. Kemudian kami berlari program, dimuat bobot disimpan sebelumnya dari data le dan diterapkan input ke jaringan. Perhatikan bahwa kami melakukan pelatihan lebih lanjut. Kami mendapat hasil sebagai berikut:
TRAINING VECTOR 6: [ 0.00599388 0.00745234 ] | RECOGNIZED |
TRAINING VECTOR 7: [ 0.0123415 0.00887678 ] | RECOGNIZED |
TRAINING VECTOR 8: [ 0.0433571 0.00461456 ] | RECOGNIZED |
All three characters were successfully mapped to error signal f0; 0g.
Kekokohan: Untuk menyelidiki bagaimana kuat jaringan syaraf, kita menambahkan beberapa suara untuk input dan mendapat hasil sebagai berikut. Dalam kasus 1-bit distorsi (keluar dari 36 bit) tingkat pengakuan adalah:
TRAINING SET 0: 18/38 recognitions (47.3684%)
TRAINING SET 1: 37/38 recognitions (97.3684%)
TRAINING SET 2: 37/38 recognitions (97.3684%)
TRAINING SET 3: 5/38 recognitions (13.1579%)
TRAINING SET 4: 5/38 recognitions (13.1579%)
TRAINING SET 5: 5/38 recognitions (13.1579%)
TRAINING SET 6: 6/38 recognitions (15.7895%)
TRAINING SET 7: 5/38 recognitions (13.1579%)
TRAINING SET 8: 6/38 recognitions (15.7895%)
With 2 error bits per character, performance was even worse.
Diskusi dan kesimpulan
Kita mampu untuk melatih jaringan saraf kita sehingga berhasil mengenali tiga karakter yang diberikan dan pada saat yang sama mampu mengklasifikasikan kesalahan karakter lain. Namun, hasilnya tidak bagus untuk dataset input terdistorsi. Karakter `A ‘,` B’ dan `C ‘, yang pada jaringan kita latih, yang berhasil dikenali dengan 1 dan 2 bit distorsi (dengan kemungkinan pengecualian dari karakter `A ‘ dapat ditingkatkan tetapi dengan meningkatkan jumlah iterasi). tapi pengakuan dari `srest of the world’ karakter tidak besar.
Membandingkan hasil ini dengan hasil yang dicapai menggunakan backpropagation murni, kita dapat melihat bahwa untuk masalah ini, jika suara bit yang ditambahkan ke data recurrencynya memburuk, hasil kinerja pengakuan dibandingkan dengan biasa (Non-berulang) Back-Propagation. Juga, karena pengenalan input berulang kita harus meningkatkan jumlah total input oleh dua. Hal ini mengakibatkan peningkatan nilai jumlah dalam jaringan dan, karena itu, dalam pembelajarannya agak lambat.
Jaringan backpropagartion berulang dijelaskan pada Gambar. 12.1. Unsur-unsur penundaan (D pada Gambar. 12.1) memberikan umpan balik berulang yang terpisah antara Waktu-langkah. Gambar 12.1. Sebuah struktur jaringan saraf berulang.
A. Waktu Jaringan Berulang / Discrete
Jaringan Gambar. 12.1 menerima input x1 dan x2 pada berbagai langkah waktu satu urutan lengkap (set) yang consititutes siklus pertama. Nilai yang dihitung dalam jaringan back-propagasi konvensional dan mencapai lebih dari semua waktu langkah-langkah dari siklus tanpa penyesuaian nilai sebenarnya hingga akhir siklus itu. Pada setiap kali melangkah output y1 dan y2 diberikan sebagai input untuk waktu langkah berikutnya. Pada akhir satu scan lengkap dari semua masukan, siklus berikutnya dimulai dengan scan lengkap baru dari input yang sama dan langkah-langkah waktu seperti pada siklus sebelumnya. Ketika jumlah input berbeda dari jumlah output, maka struktur Gambar. 12.2 dapat digunakan.
Kedua struktur dalam Gambar. 12.1 dan 12.2 setara dengan struktur di mana jaringan dasar (kecuali untuk umpan balik dari satu langkah waktu untuk yang lain) diulang m-kali, untuk menjelaskan langkah-langkah waktu dalam struktur berulang. Lihat Gambar. 12.3.
B. Jaringan Berulang Sepenuhnya
Jaringan berulang sepenuhnya mirip dengan jaringan Sec. 12.1 kecuali pada lapisan umpan-balik ke lapisan sebelumnya, seperti pada Gambar. 12.4. Sekarang output pada setiap siklus menjadi masukan ke neuron berulang di siklus berikutnya.
C. Jaringan Back Propagation Terus Berulang
Jaringan Back Propagatian terus berulang menggunakan struktur yang sama seperti pada Gambar. 12.1 dan 12.2 tapi recurrency diulang lebih kecil di interval waktu. Oleh karena itu, recurrency mematuhi di sebuah persamaan diferensial seperti dalam jaringan Hop lapangan terus menerus, yaitu
di mana τ adalah waktu koefisien yang konstan, xi menjadi masukan eksternal, g (…) menunjukkan fungsi aktivasi, yi menunjukkan output dan vj menjadi output dari lapisan tersembunyi neuron. Untuk stabilitas diperlukan bahwa setidaknya satu solusi stabil Persamaan. (12.1) ada, yaitu bahwa
D. Recurrent Back Propagation Case Study : Character Recognition
Studi kasus ini s berkaitan dengan pemecahan suatu masalah pengenalan karakter sederhana dengan menggunakan jaringan backpropagation berulang. Tugas kita adalah untuk mengerjakan jaringan saraf untuk mengenali 3 karakter, yaitu, untuk memetakan mereka untuk masing-masing pasang f0,1g, f1,0g dan f1,1g. jaringan juga harus menghasilkan sinyal kesalahan khusus 0,0 dalam menanggapi karakter lain.
Design of neural network
Struktur: Jaringan saraf terdiri dari tiga lapisan dengan 2 neuron masing-masing, satulapisan output dan dua lapisan tersembunyi. Ada 36 masukan biasa ke jaringan dan 2 input yang terhubung ke 2 output kesalahan. Dengan demikian, total ada 38 input ke jaringan saraf. Jaringan saraf adalah sebagai Bagian dalam 6A, kecuali bahwa itu adalah jaringan berulang, sehingga output-nya y1 dan y2 diberikan sebagai tambahan input pada akhir setiap iterasi. Diagram struktural saraf kami jaringan diberikan pada Gambar. 12.A.1.
(A) Pelatihan Mode
Untuk melatih jaringan untuk mengenali karakter di atas kita diterapkan sesuai 6×6 grid dalam bentuk 1? 36 vektor ke input dari jaringan. tambahan dua input awalnya ditetapkan sama dengan nol dan dalam perjalanan prosedur pelatihan ditetapkan sama dengan kesalahan arus keluaran. Sebuah karakter dianggap diakui jika kedua output dari jaringan yang tidak lebih dari 0,1 o? masing-masing diinginkan nilai-nilai. Tingkat pembelajaran awal? telah eksperimen ditetapkan pada 1,5 dan menurun dengan faktor 2 setelah setiap iterasi 100. Sama seperti di propagasi kembali teratur (Bag. 6A), setelah setiap iterasi 400 kita ulang tingkat belajar nilai awalnya, untuk mencegah proses pembelajaran dari terjebak di minimum lokal. Kemudian setelah sekitar 3000 iterasi kami mampu benar mengenali semua dataset. Kami, bagaimanapun, terus sampai 5000 iterasi diselesaikan untuk memastikan bahwa nilai energi-kesalahan tidak dapat diturunkan lebih jauh.
TRAINING VECTOR 0: [ 0.0296153 0.95788 ] | RECOGNIZED |
TRAINING VECTOR 1: [ 0.963354 2.83491e-06 ] | RECOGNIZED |
TRAINING VECTOR 2: [ 0.962479 0.998554 ] | RECOGNIZED |
TRAINING VECTOR 3: [ 0.0162449 0.0149129 ] | RECOGNIZED |
TRAINING VECTOR 4: [ 0.0162506 0.0149274 ] | RECOGNIZED |
TRAINING VECTOR 5: [ 0.0161561 0.014852 ] | RECOGNIZED |
TRAINING VECTOR 6: [ 0.0168284 0.0153119 ] | RECOGNIZED |
TRAINING VECTOR 7: [ 0.016117 0.0148073 ] | RECOGNIZED |
TRAINING VECTOR 8: [ 0.016294 0.0149248 ] | RECOGNIZED |
Hasil Pengenalan (tes berjalan)
Kesalahan Deteksi: Untuk memeriksa kinerja deteksi kesalahan, kita diselamatkan diperoleh bobot menjadi data yang le, modifikasi ed dataset dalam program menggantikan karakter `G ‘,` H’ dan `I ‘(vektor pelatihan 6, 7 dan 8) dengan karakter` X’, `Y ‘dan` Z’. Kemudian kami berlari program, dimuat bobot disimpan sebelumnya dari data le dan diterapkan input ke jaringan. Perhatikan bahwa kami melakukan pelatihan lebih lanjut. Kami mendapat hasil sebagai berikut:
TRAINING VECTOR 6: [ 0.00599388 0.00745234 ] | RECOGNIZED |
TRAINING VECTOR 7: [ 0.0123415 0.00887678 ] | RECOGNIZED |
TRAINING VECTOR 8: [ 0.0433571 0.00461456 ] | RECOGNIZED |
All three characters were successfully mapped to error signal f0; 0g.
Kekokohan: Untuk menyelidiki bagaimana kuat jaringan syaraf, kita menambahkan beberapa suara untuk input dan mendapat hasil sebagai berikut. Dalam kasus 1-bit distorsi (keluar dari 36 bit) tingkat pengakuan adalah:
TRAINING SET 0: 18/38 recognitions (47.3684%)
TRAINING SET 1: 37/38 recognitions (97.3684%)
TRAINING SET 2: 37/38 recognitions (97.3684%)
TRAINING SET 3: 5/38 recognitions (13.1579%)
TRAINING SET 4: 5/38 recognitions (13.1579%)
TRAINING SET 5: 5/38 recognitions (13.1579%)
TRAINING SET 6: 6/38 recognitions (15.7895%)
TRAINING SET 7: 5/38 recognitions (13.1579%)
TRAINING SET 8: 6/38 recognitions (15.7895%)
With 2 error bits per character, performance was even worse.
Diskusi dan kesimpulan
Kita mampu untuk melatih jaringan saraf kita sehingga berhasil mengenali tiga karakter yang diberikan dan pada saat yang sama mampu mengklasifikasikan kesalahan karakter lain. Namun, hasilnya tidak bagus untuk dataset input terdistorsi. Karakter `A ‘,` B’ dan `C ‘, yang pada jaringan kita latih, yang berhasil dikenali dengan 1 dan 2 bit distorsi (dengan kemungkinan pengecualian dari karakter `A ‘ dapat ditingkatkan tetapi dengan meningkatkan jumlah iterasi). tapi pengakuan dari `srest of the world’ karakter tidak besar.
Membandingkan hasil ini dengan hasil yang dicapai menggunakan backpropagation murni, kita dapat melihat bahwa untuk masalah ini, jika suara bit yang ditambahkan ke data recurrencynya memburuk, hasil kinerja pengakuan dibandingkan dengan biasa (Non-berulang) Back-Propagation. Juga, karena pengenalan input berulang kita harus meningkatkan jumlah total input oleh dua. Hal ini mengakibatkan peningkatan nilai jumlah dalam jaringan dan, karena itu, dalam pembelajarannya agak lambat.
Komentar
Posting Komentar