ỨNG DỤNG MẠNG NORON NHÂN TẠO SOM CHO BÀI TOÁN NHẬN DẠNG KÍ TỰ

Transcription

1 ỨNG DỤNG MẠNG NORON NHÂN TẠO SOM CHO BÀI TOÁN NHẬN DẠNG KÍ TỰ Lê Anh Tú 1*, Nguyễn Quang Hoan 2, Lê Sơn Thá 1 1 Trường Đạ học Công nghệ thông tn và truyền thông ĐH Thá Nguyên 2 Học vện Công nghệ Bưu chính Vễn thông TÓM TẮT Kh áp dụng mạng noron SOM cho bà toán nhận dạng nó chung và nhận dạng ký tự nó rêng, chúng tô nhận thấy mạng noron SOM có nhều trển vọng trong vấn đề này. Tuy nhên, vớ mỗ dạng dữ lệu vào thì vector trọng số và hàm khoảng cách đánh gá độ ph tương tự của dữ lệu cần được thết kế phù hợp để mạng hoạt động hệu quả hơn. Trong bà báo này chúng tô đề xuất một cấu trúc trọng số mớ của mạng noron SOM để bểu dễn các đặc trưng hình dạng của đố tượng, đồng thờ xây dựng một hàm khoảng cách để đo độ ph tương tự gữa các đặc trưng dữ lệu và áp dụng cho bà toán nhận dạng ký tự. Kết quả thử nghệm chỉ ra rằng mạng noron SOM có khả năng nhận dạng tốt hơn kh áp dụng gả pháp cả tến. Từ khóa: nhận dạng kí tự, mạng noron nhân tạo, mạng tự tổ chức, phân cụm dữ lệu, học cạnh tranh. GIỚI THIỆU * Trong những năm gần đây, lĩnh vực nhận dạng đố tượng sử dụng mạng noron nhân tạo là một hướng nghên cứu được nhều ngườ quan tâm [1,2,4,5]. Tùy từng kểu đố tượng cần nhận dạng và mô hình mạng noron được áp dụng mà có các gả pháp khác nhau đã được đưa ra. Trong phạm v nghên cứu của bà báo này, chúng tô tập trung vào vấn đề nhận dạng đố tượng dựa trên các đặc trưng hình dạng sử dụng mạng noron nhân tạo SOM[7]. Vớ mỗ ảnh đố tượng huấn luyện đầu vào (ví dụ ảnh ký tự, chữ kí,..), trích ra các đểm đặc trưng mô tả đố tượng và sử dụng các thông tn này để huấn luyện mạng noron SOM. Gả pháp này có thể áp dụng cho các bà toán nhận dạng kí tự, chữ ký, bển số xe Hình 1 mnh họa quy trình nhận dạng ký tự sử dụng mạng noron nhân tạo SOM. Trong cả ha ga đoạn của quy trình trên đều thực hện tền xử lý ảnh đầu vào để gảm nhễu. Tuy nhên, chỉ có ga đoạn 1 phả trích chọn đặc trưng của ký tự sau bước tền xử lý. Còn ga đoạn 2, ảnh sau kh tền xử lý sẽ được đưa trực tếp vào mạng để đố sánh. Hện tạ có nhều gả pháp trích chọn đặc trưng có thể áp dụng cho tập dữ lệu ký tự như[3]: phương pháp trọng số vùng (zonng), bểu đồ chếu (projecton hstograms), trích chọn chu tuyến (contour profles), wavelet * Tel: , Emal: latu@ctu.edu.vn Haar[6] mỗ phương pháp đều có những ưu, nhược đểm rêng. Thực tế, kh áp dụng mạng noron SOM cho bà toán nhận dạng kí tự, chúng tô thấy độ chính xác của kết quả nhận dạng phụ thuộc nhều vào phương pháp trích chọn đặc trưng và hàm đánh gá độ ph tương tự của SOM (hàm khoảng cách). Hàm khoảng cách này cần được xây dựng phù hợp vớ từng dạng dữ lệu và đặc trưng cụ thể. Chúng tô đã cha ảnh thành nhều vùng tương tự phương pháp trọng số vùng (cha ảnh thành lướ kích thước m x n, mỗ ô lướ là một đầu vào của mạng vớ gá trị là số đểm đen trong ô lướ đó)[3] và xác định đặc trưng hình dạng của đố tượng dựa vào vị trí các đểm đen đặc trưng và vị trí các đểm trắng đặc trưng. Trong đó, đểm đen (đặc trưng đểm đen) mô tả đường nét của đố tượng, chỉ ra những vị trí bắt buộc phả có nét vẽ; ngược lạ, đểm trắng (đặc trưng đểm trắng) mô tả các vị trí không có đường nét (không được phép có nét vẽ). Những đặc trưng này là cơ sở để chúng tô thết kế cấu trúc trọng số cho mạng noron SOM, từ đó xây dựng một hàm khoảng cách mớ phù hợp vớ cách lựa chọn các đặc trưng này. Các phần tếp theo của bà báo sẽ trình bày ch tết hơn, trong đó: phần 2 trình bày gả thuật SOM, phần 3 mô tả cấu trúc trọng số mớ sử dụng đặc trưng đểm đen và đặc trưng đểm trắng, phần 4 đưa ra công thức xác định độ ph tương tự gữa trọng số của noron và ảnh đầu vào, phần 5 trình bày kết quả thực nghệm và cuố cùng là kết luận. 55

2 Tập ảnh kí tự huấn luyện Tền xử lý Ga đoạn 1 Ga đoạn 2 Tập ảnh kí tự cần nhận dạng Trích chọn đặc trưng Tền xử lý Huấn luyện mạng noron SOM Mạng noron SOM đã được huấn luyện Mạng noron SOM đã được huấn luyện Kết quả nhận dạng Hình 1. Quy trình nhận dạng ký tự sử dụng mạng noron nhận tạo MẠNG NORON NHÂN TẠO SOM Mạng noron SOM[7] gồm lớp tín hệu vào và lớp ra Kohonen. Lớp Kohonen thường được tổ chức dướ dạng một ma trận 2 chều các noron. Mỗ đơn vị (noron) trong lớp Kohonen được gắn một vector trọng số w = [w 1, w 2,,w n ], vớ n là kích thước vector đầu vào (Hình 2); w j là trọng số của noron ứng vớ đầu vào j). Quá trình huấn luyện mạng được lặp nhều lần, tạ lần lặp thứ t thực hện 3 bước: Bước 1- tìm noron chến thắng (BMU- Best Matchng Unt): chọn ngẫu nhên một đầu vào v từ tập dữ lệu, duyệt ma trận Kohonen tìm noron b có hàm khoảng cách dst nhỏ nhất (thường dùng hàm Eucldan, Manhattan hay Vector Dot Product). Noron b được gọ là BMU. ds t= v w = mn { v m } (1) 56 b Bước 2- xác định bán kính lân cận của BMU: () exp t σ t = σ 0 là hàm nộ suy bán kính λ (gảm dần theo số lần lặp), vớ σ 0 là bán kính K khở tạo; hằng số thờ gan λ=, vớ log( σ0) K là tổng số lần lặp. Bước 3- cập nhật lạ trọng số của các noron trong bán kính lân cận của BMU theo hướng gần hơn vớ vector đầu vào v: ( t+ ) = () t + α() t h () t v () t w 1 w w b (2) Trong đó: () exp t α t = α 0 là hàm nộ suy λ tốc độ học, vớ α 0 là gá trị khở tạo của tốc độ học; h b (t) là hàm nộ suy theo thờ gan học, thể hện sự tác động của khoảng cách đố vớ quá trình học, được tính theo công thức 2 rb r hb() t = exp 2 2σ () t trong đó r b và r là vị trí của noron b và noron trong ma trận Kohonen. CẤU TRÚC TRỌNG SỐ DỰA TRÊN ĐẶC TRƯNG ĐIỂM ĐEN VÀ ĐẶC TRƯNG ĐIỂM TRẮNG x 1 x 2 x n w 1 w 2 w n noron Hình 2. Noron trong lớp Kohonen Hình 3. Mnh họa cha lướ lấy mẫu trên ảnh ký tự nhị phân Ảnh ký tự gốc ban đầu được lọc xương, xén tỉa các mép thừa và bến đổ về dạng ảnh nhị phân có kích thước u x v pxels (đểm đen có gá trị 1, đểm trắng có gá trị 0), vớ u và v cha hết cho k (k là kích thước đơn vị của lướ lấy mẫu). Mỗ ô của lướ lấy mẫu có kích thước k x k. y

3 Ký tự ban đầu Ký tự mớ sau kh xóa đ một và nét của ký tự ban đầu Hình 3 mnh họa ảnh nhị phân kích thước 20x16 và kích thước đơn vị của lướ lấy mẫu k=4, tức là kích thước lướ lấy mẫu là 5x4 ô, mỗ ô có kích thước 4x4 pxels. Mỗ ô của lướ lấy mẫu được trích trọn đặc trưng theo ha bước. Bước 1, lấy đặc trưng đểm đen (m b, x b, y b ), trong đó m b là số pxels có gá trị 1 (đểm màu đen) và x b, y b là tọa độ trung tâm của tất cả các đểm màu đen. Bước 2, lấy đặc trưng đểm trắng (m w, x w, y w ), trong m w là số pxels có gá trị 0 và x w, y w là tọa độ trung tâm của tất cả các đểm màu trắng (trình tự các bước có thể thay đổ nhưng phả thống nhất trên tất cả các ô). Lý do chúng tô sử dụng thêm đặc trưng đểm trắng là do các đặc trưng đểm đen không hoàn toàn phân bệt được các mẫu ký tự có hình dạng bao nhau (tập nét vẽ của ký tự này bao tập nét vẽ của ký tự khác). Tức là nếu xóa đ một và nét của ký tự ban đầu thì ta sẽ có một ký tự mớ (Hình 4). x 1 x 2 w 1 w 2 Hình 4. Ví dụ một số ký tự có hình dạng bao nhau một noron. Như vậy, mỗ noron trong lớp Kohonen được gắn một vector trọng số w = [w 1, w 2,,w s, w s+1, w s+2,, w 2s ], trong đó cấu trúc của đầu vào x j và trọng số w j (vớ j=1..2) gồm 3 thành phần đặc trưng m, x và y. Như vậy trong quá trình tính toán của mạng SOM, công thức (2) sẽ được áp dụng để đều chỉnh cho cả 3 tham số này. HÀM ĐÁNH GIÁ ĐỘ PHI TƯƠNG TỰ GIỮA TRỌNG SỐ CỦA NORON VÀ ẢNH ĐẦU VÀO Để đánh gá độ khác bệt gữa vector trọng số của noron và vector dữ lệu vào, thuật toán SOM sử dụng công thức (1). Đây chỉ đơn gản là công thức xác định khoảng cách gữa ha vector. Như vậy, vớ cách thết lập trọng số đã trình bày ở đoạn 3, chúng tô đề xuất một hàm đánh gá mớ đo độ ph tương tự gữa trọng số của mỗ noron và ảnh kí tự vào, vớ dst = mn{d black +d whte }. Trong đó, d black là hàm đánh gá sự khác bệt dựa trên đặc trưng đểm đen, d whte là hàm đánh gá sự khác bệt dựa trên đặc trưng đểm trắng. x s x s+1 x s+2 w s w s+1 w s+2 noron y x 2s w 2s Hình 5. Noron vớ vector trọng số theo đặc trưng đểm đen và trắng Mỗ ký tự sẽ trích chọn được s=(u/k)x(v/k) đặc trưng đểm đen và s đặc trưng đểm trắng. Ví dụ, ô lướ được đánh dấu trong Hình 3 có đặc trưng đểm đen là (4, 2.5, 7) và đặc trưng đểm trắng là (12, 2.5, 6.3). Mạng noron SOM được thết kế gồm 2s đầu vào, s đầu vào đầu tên tương ứng vớ các đặc trưng đểm đen, s đầu vào tếp theo tương ứng vớ các đặc trưng đểm trắng. Hình 5 mnh họa kến trúc của Hình 6. Mnh họa lực kéo của các đểm khung vớ đố tượng Hàm d black được tính dựa trên ý tưởng co mỗ đểm đen đặc trưng như là các đểm khung của đố tượng. Do đó kh áp một đố tượng (ký tự) lên khung này để so sánh, thì mỗ đểm trên khung (đểm đen) sẽ cần một lực 57

4 kéo nhất định để gữ được đố tượng (Hình 6). Lực kéo tạ một đểm trên khung tỉ lệ thuận vớ khoảng cách từ đểm đó tớ đểm đen gần nhất trên đố tượng và số lượng pxels tạ đểm khung đó. Tổng lực kéo này càng nhỏ thì độ tương tự gữa khung và đố tượng càng lớn (đố tượng gống vớ khung), ngược lạ lực kéo lớn thì độ ph tương tự lớn (đố tượng không gống khung). Công thức d black được xác định như sau: s d = m * r, trong đó: m b là số pxels black b b = 1 có gá trị 1 tạ đểm khung thứ ; r b là khoảng cách từ đểm khung thứ đến đểm đen gần nhất trên đố tượng. Hình 7. Mnh họa lực đẩy của các đểm trắng đặc trưng Ngược vớ các đểm đen đặc trưng (được co là các đểm kéo), các đểm trắng đặc trưng được co là các đểm đẩy (Hình 7). Các đểm này sẽ góp phần đẩy hình dạng của đố tượng đến gần các đểm khung hơn. Như vậy, nếu cần càng nhều lực đẩy thì độ ph tương tự càng lớn, ngược lạ lực đẩy nhỏ thì độ tương tự cao. Đều này có nghĩa là nếu đố tượng có càng nhều nét vẽ v phạm các vị trí cấm vẽ thì độ ph tương tự càng tăng. Về nguyên tắc, lực đẩy sẽ tỉ lệ nghịch vớ khoảng cách từ đểm trắng đặc trưng tớ đểm đen gần nhất trên đố tượng. Công thức d whte được xác định như sau: d = s w whte 1 r, trong đó: m là số pxels có w = w 58 m gá trị 0 của đặc trưng đểm trắng thứ ; r w là khoảng cách từ đểm trắng đặc trưng thứ tớ đểm đen gần nhất trên đố tượng. Như vậy, hàm đánh gá độ ph tương tự được vết lạ như sau: dst= mn m * r + m s s w b b (3) = 1 = 1 r w KẾT QUẢ THỬ NGHIỆM Chúng tô đã cà đặt thử nghệm đồng thờ cả ha gả pháp: gả pháp trọng số vùng (trích chọn đặc trưng theo phương pháp trọng số vùng, vớ hàm khoảng cách Eucldan) và gả pháp trích trọn cả tến (đoạn 3) vớ hàm đánh gá độ ph tương tự theo công thức (3). Kết quả thử nghệm trình bày trong Hình 8 được áp dụng đố vớ 26 mẫu kí tự quang n hoa và một số ký tự vết tay. Trong tất cả các trường hợp thử nghệm, gả pháp cả tến đều cho kết quả nhận dạng chính xác hơn, đặc bệt vớ các mẫu ký tự quang kết quả nhận dạng đều chính xác. Vớ các mẫu ký tự vết tay tuy không hoàn toàn chính xác, nhưng ít sa hơn so vớ gả pháp chuẩn. Ảnh mẫu đầu tên, các mẫu kí tự quang n hoa tương đố mảnh (nét mảnh), cả ha gả pháp đều cho kết quả nhận dạng chính xác. Nhưng ở ảnh mẫu thứ ha và thứ ba các mẫu ký tự quang n hoa đậm hơn (nét dày hơn) thì gả pháp chuẩn có một số kí tự bị nhận dạng sa, trong kh gả pháp cả tến vẫn có kết quả nhận dạng chính xác. Nguyên nhân là do ảnh đầu vào được lọc xương, nên kh các kí tự có nét càng dày thì xương của ký tự càng có xu thế bị bến dạng hơn. Đều này cho thấy gả pháp cả tến đánh gá đặc trưng của ký tự chính xác hơn (ít nhạy hơn kh có các bến dạng). Tương tự vớ 3 ảnh mẫu cuố, ngoà mức độ dày, mảnh của kí tự thì đây là các mẫu kí tự vết tay nên có nhều bến dạng so vớ kí tự gốc. Gả pháp cả tến vẫn có kết quả nhận dạng khả th hơn gả pháp chuẩn. KẾT LUẬN Tuy mạng noron SOM có nhều trển vọng trong các bà toán phân cụm dữ lệu và nhận dạng, nhưng tính khả th thực sự phụ thuộc rất nhều vào đặc trưng của dữ lệu và hàm đánh gá độ ph tương tự của đặc trưng. Bà báo đã đề xuất một cấu trúc trọng số mớ phù hợp vớ cách trích trọn đặc trưng của đố tượng và đưa ra một hàm đánh gá độ ph tương tự của các đặc trưng này, góp phần nâng cao khả năng nhận dạng của noron SOM. Gả pháp đề xuất có thể áp dụng cho các bà toán nhận dạng kí tự, chữ ký, bển số xe

5 Ảnh đầu vào Gả pháp trọng số vùng, sử dụng hàm khoảng cách Eucldan Gả pháp cả tến Kết quả Tỉ lệ đúng Kết quả A B C D E F G H I A B C D E F G H I J J K L M N O F Q R K L M N O F Q R S S T U V K X Z W T U V K X Z W A B C D E F G H I J K L M N O F Q P S T U V Y X Z W A B C O E F B H I J K L M N O P M R S T U V H X Z M 92.3% A B C D E F G H I J K L M N O P Q R S T U V Y X Z W 76.9% A B C D E F G H I J K L M N O F Q R S T U V Y X Z W Tỉ lệ đúng A B C O E P P K 50% A B C D E F G H D C F K F D 33.3% B C F I P D 83.3% N H A N O A R P K C K U 50% N H A N D A N G K I T U Mặc dù kết quả thử nghệm của gả pháp đề xuất vớ một số mẫu ký tự đơn gản có khả quan, nhưng để đánh gá tính khả th thực sự của gả pháp cần tếp tục thử nghệm vớ các bộ test lớn hơn (ví dụ như MNIST). Trên các bộ test lớn thờ gan tính toán cũng là một vấn đề cần xem xét, do cách thức tổ chức trọng số và vệc đố sánh trọng số của noron vớ ảnh đầu vào tương đố phức tạp. Về mặt chất lượng nhận dạng, thì gả pháp đã đề xuất có thể tếp tục cả tến. Chẳng hạn, ở ga đoạn tền xử lý có thể tăng cường đặc trưng đểm gao của các nét trong mỗ kí tự. Tức là gá trị pxel tạ các đểm gao gữa các nét không phả là 1, mà có thể là tổng của tất cả các pxels có gá trị 1 quanh nó. Vệc tăng cường này có thể làm tăng độ chính xác của hàm đánh gá độ ph tương tự căn cứ vào đặc trưng đểm gao. Hình 8. Kết quả thử nghệm nhận dạng kí tự TÀI LIỆU THAM KHẢO [1]. Dong Xao N, (May 4 th, 2007), Applcaton of Neural Networks to Character Recognton, Proceedngs of Students/Faculty Research Day, CSIS, Pace Unversty. [2]. Prof. M.S.Kumbhar, Y.Y.Chandrachud, (9-2012), Handwrtten marath character recognton usng neural network, Internatonal Journal of Emergng Technology and Advanced Engneerng, Vol 2, Issue 9. [3]. Phạm Anh Phương, (2009), Một số phương pháp trích chọn đặc trưng hệu quả cho bà toán nhận dạng chữ vết tay rờ rạc, Tạp chí khoa học Đạ học Huế, số 53. [4]. C.M. Bshop, (1995), Neural networks for pattern recognton, Oxford Unversty Press, USA. [5]. Jelmer de Vres, Object Recognton: A Shape-Based Approach usng Artfcal Neural Networks, Unversty of Utrecht. [6]. Vola, P., Jones, M., (2001), Rapd object detecton usng a boosted cascade of smple features, Proc. Intl. Conf. on Computer Vson and Pattern Recognton (CVPR), Vol 1, p [7]. Teuvo Kohonen, (2001), Self-Organzng Maps, Sprnger, 3rd Edton. 59

6 SUMMARY APPLYING SOM ARTIFICIAL NEURAL NETWORK TO THE CHARACTER RECOGNITION PROBLEM Le Anh Tu 1*, Nguyen Quang Hoan 2, Le Son Tha 1 1 College of Informaton and Communcaton Technology - TNU 2 Posts and Telecommuncatons Insttute of Technology When applyng the SOM neural network for the dentfcaton problem n general, and character recognton problem n partcular, we found that SOM neural network offers prospects of ths problem. However, for each type of nput data, weght structure and functon that assess the dssmlarty should be adapted to make the network operate more effcently. In ths paper, we propose a new weghtng structure for SOM neural network to present the shape characterstcs of the object. Then, we develop a new dstance functon that s used to assess the non-smlarty of the characterstcs and applcatons for character recognton problem. The expermental results show that our mproved soluton makes the SOM neural network capable of better character recognton. Keywords: character recognton, artfcal neural network, self organzng map, data clusterng, compettve learnng. Ngày nhận bà: 15/9/2012, ngày phản bện:25/10/2012, ngày duyệt đăng:10/12/2012 * Tel: , Emal: latu@ctu.edu.vn 60