נעם ברגמן, פרופ' יצחק יצחקי, פרופ' אילן הלחמי
שיטת זיהוי שפותחה המסוגלת לבצע זיהוי וסיווג פנים של מספר פרות במקביל מתוך מצלמת וידאו בזמן אמת, מתוך כוונה להפחית בעתיד את הצורך בתגי אוזניים, או מיתוג פיזי לצורך זיהוי ביומטרי של פרות חולבות, ובכך למזער את הכאב והלחץ אצל הפרה, ולחסוך עבודת ניתור ידנית וזמן של החקלאי
שיטות ביומטריות, המיועדות לזיהוי בני-אדם, ניתנות לשימוש גם בזיהוי של פרות ובקר. בהנתן שתנועות של בע"ח אינן נתנות לשליטה, דיוק הזיהוי במצבים משתנים ובניה של מערכת עמידה בתנועות אלו הופכת מאתגרת בעת יישום מערכת לזיהוי ביומטרי ברפת חלב אמיתית/
השיטה שפיתחנו וחקרנו מסוגלת לבצע זיהוי וסיווג פנים של מספר פרות במקביל מתוך מצלמת וידאו בזמן אמת, על ידי שימוש בשיטות עדכניות של למידה עמוקה. כחלק ממחקר זה, מערכת ייעודית נבנתה והותקנה בגובה ארבעה מטרים מעל אזורי אכילה ברפת חלב אמיתית של מנהל המחקר החקלאי (מכון וולקני). שני מאגרי נתונים נאספו ותויגו. האחד לגילוי פני הפרות מתוך מסגרות וידאו והשני לסיווג כל פרה בנפרד מתוך 77 פרות כפי שנצפו באזורי אכילה אלו במשך 20 ימים. השגנו ציון mean Average Preicion לפי IoU=0.5 של 97.8% , תוך שימוש באלגוריתם לגילוי מסוג YOLOv5 בשלב הראשון, ודיוק בסיווג הפנים של 96.3% תוך שימוש במודל המבוסס על Vision-Transformer שאומן יחד עם פונקצית מחיר ייחודית לזיהוי פנים אנושיות .(ArcFace) המערכת בשלמותה, מסוגלת לזהות מיקומי פנים מדויקים ואת זהותן של עשר פרות האוכלות במקביל, בפחות מ 20- מילישניות למסגרת וידאו. כלומר ניתן לזהות ולסווג פנים של עשר פרות במקביל בקצב של עד 50 מסגרות וידאו לשנייה.
השלכות המחקר
במחקר זה פותחה מערכת מבוססת וידאו המבצעת זיהוי ביומטרי של פרות חולבות באמצעות זיהוי וסיווג פנים של המוצגת מספקת דרך לזהות ולעקוב אחר כל פרה בנפרד, ולעקוב אחר זמני הארוחות ומשכי הארוחות שלה. חשוב לציין, כי זיהוי ביומטרי יכול להתבצע על סמך פנים בלבד. המערכת יכולה להחליף RFID כדי לזהות פרות בעלות נמוכה מאוד, ולשפר את רווחת הפרות על ידי הפחתת הצורך בתגי אוזניים, כוויות או אמצעי סימון אחרים ובכך להפחית את הכאב לחיה, ולחסוך לחקלאי עבודה וזמן. בנוסף, המערכת מסוגלת לנטר את התנהגות ההאכלה 24/7 , מה שיכול להקנות לחקלאי ידע מבוסס נתונים על כל אחת מהפרות באופן פרטני, כמו גם על כולן כקבוצה, ולספק כלי מרכזי לשיפור תפקוד הרפת ורווחת בעלי החיים.
מבוא
חקלאות מדייקת בבעלי חיים (PLF) ניתנת להגדרה כטכנולוגית ניטור בזמן אמת שמטרתן לנהל בעלי חיים אינדיבידואלים במשק (,. Bezen et al., 2020; Bloch et al 2019; Geffen et al., 2020; Halachmi et al., 2019). בשלב זה, מרבית יישומי ה- PLF בפרות חולבות מבוססים על תגי ניטור המחוברים לחיה (תגי צוואר, רגל או אוזניים). דוגמאות למשל הן מדי תאוצה של תגי אוזניים , McGowan Burke et al., 2007 , קולארי צוואר Roessen, Harty et al., 2015; Werner, Leso et al., 2017 , חיישני לחץ באף לתיעוד תנועות לסת Werner, Leso et al., 2017 וחיישני טמפרטורת גוף, Wolfger, Timsit et al., 2015; Shahriar Smith et al., 2016 . נעשה שימוש גם בחיישנים מבוססי זיהוי תדר רדיו RFID לאיתור בעלי חיים בתוך מבנים Porto, Arcidiacono et al., 2014; Pastell, Frondelius et al., 2018 . היבט חשוב נוסף של PLF בחקלאות חלב ממקד את תשומת הלב בפרודוקטיביות של פרה אינדיבידואלית Gonzales Barron et al., 2008. עם מידע על צריכת מזון פרטנית של כל פרה בודדת, יחד עם ייצור החלב והרכבו, ניתן להעריך את יעילות ההזנה האישית עבור כל פרה Volden Gustafsson,2011 &. יתר על כן, האכלת פרות מהווה חלק משמעותי מהוצאות החווה. Halachmi et al., 2016 חיישן יחיד, כמו מצלמה, יכול להיות פתרון סביר לתיעוד המידע המשולב המוזכר למעלה, על פני מספר פרות במקביל ובאופן מדויק ,. Bercovich et al., 2013; Halachmi et al 2008; van Hertem et al., 2018 . תמונות פנים של פרות חולבות נחשבות כמאפיין ביומטרי מרכזי לזיהוי בקר, מכיוון שפני פרות ידועים כעשירים במידע ביומטרי ותכונות פנים מובחנות היטב Kumar et al., 2016. זיהוי פנים בצורה אוטומטית מציגה כמה אתגרים ידועים, למשל, מנח-פנים, הבעות פנים, שינויי תאורה, הזדקנות והסתרות. אתגרי ההארה, התנוחה ואיכות ירודה של תמונות באה לידי ביטוי בעת רכישת תמונות הפנים של פרות חולבות ובקר(Kumar et al., 2016). לפיכך, יש צורך להשתמש בשיטות מדויקות יותר על מנת להתגבר על אתגרים אלה ולהשיג זיהוי ביומטרי של בעלי חיים בזמן אמת המסוגל להוביל לניטור מדויק של צריכת מזון, וכתוצאה מכך שיפור החלטות ניהול הרפת Whealoo et al., 2004. בשנים האחרונות, ראיית ממוחשבת ושיטות למידה עמוקה ביצעו קפיצות מדרגה עצומות Szegedy et al., 2016. למידה עמוקה, וליתר דיוק, רשתות עצביות (CNNs) ו- Transofrmers , הינן שיטות ספציפיות ללמידת מכונה מבוססות על AI במשימות ראייה ממוחשבת מורכבות, כגון גילוי, סיווג, הכרה ומעקב (,. Bezen et al 2020 ). בשל כמות הנתונים הקיימים Q. Zhang et al., 2018 וצמיחת יכולות חישוב המחשב של יחידות עיבוד גרפיקה GPUsTsai et al., 2018, רשתות CNN ו- Transformers מניבים תוצאות מדויקות יותר ויותר. הם מבוססים על אופטימזציה המתבצעת באמצעות תהליך אימון פרמטרים ושימוש בשכבות המכילות פעולות מתמטיות לא-ליניאריות.
תהליך אימון זה, הוא שמאפשר להם ללמוד מיליוני פרמטרים; כתוצאה מכך, הם דורשים כמויות גדולות של נתונים מגוונים Ros et al., 2016. תחומי החקלאות המדויקת, הרובוטיקה החקלאית, PLF ואחרים שמטרתם לפתח יישומים חקלאיים ראו עלייה משמעותית בעניין יישום שיטות למידה עמוקה, במיוחד אלגוריתמים מבוססי ; CNN Denholm et al., 2020 Pu et al., 2018; Rodríguez Alvarez et al., 2018; Tian et al., 2019; D. Wang et al., 2018; Xu et al., 2020; Q. Yang et al., 2018; Zheng et al., 2018 . זיהוי ביומטרי על ידי זיהוי
פנים בפרות חולבות ובקר נעשה על ידי שימוש באלגוריתמים של CNN תוך שימוש בתמונות פנים של פרות חלב ובקר יכול לזהות את הפנים של בעלי חיים בודדים, כלומר לזהות ביומטרית כל חיה ; Qiao et al., 2019; H. wang et al., 2020 .Xu et al., 2022; Z. Yang et al., 2019; Yao et al., 2019 עם זאת, השיטות שהובאו לעיל דרשו הקלטה ידנית של תמונות הפנים של הפרות; מרבית המחקרים מבוססים על נתונים שנרכשו על ידי מצלמות ידניות כמו של טלפון סלולרי למשל, מה שמקשה מאוד על יישום השיטות ברפת חלב מסחרית. יתר על כן, החוקרים לא תמיד ביצעו אופטימיזציה של האלגוריתמים שלהם כך שירוצו במהירות מספקת לווידיאו, מה שהגביל עוד יותר את היישום המעשי. לעומת זאת, השיטה המוצעת כאן עושה שימוש במערכת שרוכשת תמונות של פני הפרות בצורה אוטומטית עבור פרות בודדות או של פרות מרובות בו-זמנית; המערכת הותקנה באזורי האכלה של רפת החלב של מנהל המחקר החקלאי.
אנו משערים כי ראיית מכונה ושיטות למידה עמוקה יכולים לזהות פרות המבוססות רק על פניהם, בתנאי חוות חלב מסחריים, עם דיוק של 96% . לפיכך, מטרת המחקר הייתה לפתח ולאמת מערכת המזהה ומסווגת פני פרות מרובות בו-זמנית ממצלמת וידאו ובצורה אוטומטית, המבוססת רק על זיהוי ביומטרי באמצעות התמונות של פניהם, ברפת חלב מסחרית.
חומרים ושיטות
בניית מערכת ורפת הניסוי:
בנינו והתקנו את מערכת האב -טיפוס שלנו בחוות החלב של מנהל המחקר החקלאי (ARO) בגובה של 4 מטרים מעל שני אזורי האכלה. המערכת (איור 1) מורכבת ממבנה מתכת ייחודי שנבנה משלוש קורות באורך 1.6 מטר ומסילה באורך 12 מטרים, שתי מצלמות אבטחה מסוג HikVision DS2CD2646G1-IZS שיכולות להקליט וידאו בתנאי יום ולילה וברזולוציה של 4 מגה-פיקסלים. בנוסף נעשה שימוש גם ברכיבים מסוג Wireless Router , Power-Over-Ethernet switch , יחידת UPS ובקר מסוג LattePanda ; הבקר והנתב נמצאים בקופסת פלסטיק סגורה כדי להגן עליהם מפני לכלוך ונזק. שתי המצלמות מחוברות דרך כבלי Ethernet . כל אחת משתי המצלמות מוקמה בגובה של 4 מטרים מעל הקרקע, במרכז אזור אכילה שאורכו 6 מטרים. כל מצלמה מסוגלת לצלם עד 10 פרות אוכלות בו זמנית. רשמנו 20 ימי האכלה
בסך הכל, בשתי תקופות ההקלטה. את ההקלטה הראשונה ביצענו מה 2- בדצמבר עד 12 בדצמבר 2020 , והשנייה מה 4- באפריל עד 14 באפריל 2021 . ההקלטות נערכו במצב טבעי לחלוטין של הפרות ללא התערבות חיצונית וללא שינוי באופן ההאכלה בעת תקופות אלה, כך שניתן להניח התנהגות אכילה רגילה. בסך הכל נצפו 77 פרות חולבות שונות בשתי תקופות ההקלטה.
מצלמות וידיאו המקליטות שתי אזורי אכילה שונים. כל מצלמה יכולה להקליט את פניהן של עד 10 פרות אוכלות בו זמנית
תיאור מערכת לזיהוי וסיווג פנים שנבנתה
המערכת הממוחשבת (איור 2) מורכבת משני אלגוריתמים עיקריים, (א) זיהוי פני הפרות, המבוססים על רשת AI מסוג CNN המזהה את הפנים של מספר פרות מרובות מתוך תמונה וחיתוך אוטומטי של כל פני הפרות המזוהות, ו- (ב) סיווג ביומטרי של הפנים רשת AI עמוקה מסוג
Vision-Transformer , המסווגת את זהויות הפרות בהתבסס על מאפיינים ביומטרים של הפנים בלבד; שתי הרשתות פועלות באופן רצוף אחת אחרי השניה. ראשית, כל הפרצופים מתגלים בכל מסגרת וידיאו בנפרד, ואז הם מעובדים ומוזנים לרשת הסיווג הביומטרי של הפנים, המסווגת את הזהויות של כל תמונות הפנים של הפרות כפי שהתגלו ברשת הראשונה. המערכת מעבדת כל מסגרת וידיאו באופן עצמאי ומשתמשת בשכבות פרמטרים שעברו אימון ואופטימיזציה על תמונות שצילמנו בתקופות ההקלטה שהזכרנו למעלה הן עבור גילוי הפנים והן עבור
סיווג הפנים; לפיכך, בדקנו ובחרנו באלגוריתמים שיכולים לרוץ ביעילות ובזמן אמת על פני קבצי וידאו.
איסוף נתונים
איסוף נתונים עבור מודל לגילוי הפנים:
תיכננו את המערכת שלנו לעיבוד קבצי וידיאו בזמן אמת. המערכת ידידותית למשתמש ואינה מפריעה או מייצרת אי נוחות לבעלי החיים ולא מפריעה לפעילותו של החקלאי. כצעד ראשוני, כדי לאמן את המערכת, יצרנו בסיס נתונים לצורך אימון רשת גילוי הפנים של הפרות המבוסס על קופסאות תוחמות לפי פורמט ,. YOLO (Redmon et al 2016 ). השתמשנו בכלי התיוג הנקרא (LabelImg (Lin, 2015 לצורך הערת פנים באופן ידני. תייגנו את הפנים של 2164 פרות בקופסאות תוחמות, מתוך 500 מסגרות וידאו שונות.
בסיס הנתונים מבוסס על מסגרות וידאו שנלקחו מסרטונים שהוקלטו בשתי תקופות ההקלטה שתוארו למעלה. השתמשנו במערך הנתונים הזה כדי לאמן את רשת ה- AI לגילוי הפנים, שמסוגלת לגלות מספר גדול מאוד של פנים מתוך מסגרת וידאו בודדת, אף על פי שבמערכת שבנינו יש צורך בגילוי של עד 10 פרות אוכלות בו זמנית.
איסוף נתונים עבור מודל לסיווג הפנים
יצרנו בסיס נתונים נוסף לצורך אימון רשת ה- AI לסיווג ביומטרי של 77 פרות שזהותם נקבעה על פי המספרים שעל גבן. קראנו לבסיס נתונים זה בשם COW77 בשל הייחודיות שלו (כפי שידוע לנו לא נאסף בסיס נתונים דומה עבור פני פרות חולבות בעבר). בסיס הנתונים מכיל 7032 תמונות פנים שונות מתוך קבצי הווידיאו שהקלטנו בתקופות ההקלטה. מדגם של 12 זהויות פנים ממאגר נתונים זה מוצג באיור 3.
ביומטריות ייחודיות מכל תמונת פנים של פרה.
לצורך ביצוע המחקר השתמשנו באלגוריתמים ומודלים שונים לעיבוד תמונות. בין השאר בוצע שימוש במערכות לגילוי פנים, מערכות לסיווג פנים, בפונקציה מחיר ייחודית חדשה בשם: ArcFace (additive angular margin loss functionֿ Deng et al., 2019 ) שהיא טכניקה חדישה שהומצאה עבור זיהוי פנים אנושי הרעיון שמאחורי פונקציה אובדן זו הוא לאמן את המודל כדי להכיר טוב יותר את פניה של כל פרה על ידי הגדלת המרחק בין גבולות ההחלטה של וקטורי המאפיינים הביומטריים במוצא מהרשת עבור זהויות שונות, ובו בזמן הפחתה של
המרחק הבין-וקטורי של תמונות פנים מאותה זהות.
תוצאות
תוצאות של חמש השוואות שונות מתוארות להלן:
א) משווה בין רשתות AI לגילוי הפנים;
ב) מעריכה את עיבוד הביניים שבין גילוי פנים לבין סיווג הפנים;
ג) ההשוואה בין רשתות AI לסיווג ביומטרי של הפנים;
ד) השוואה בין פונקציות מחיר של הרשתות לסיווג ביומטרי של הפנים
ה) השוואת זמן ההסקה של המערכת בשלמותה עבור מסגרת וידאו המכילה 10 פרות אוכלות בו זמנית. כל מסגרת וידאו מופיעה כמו באיור 4.
תוצאות רשתות ה- AI לגילוי הפנים
השווינו שלוש רשתות לגילוי פנים, , YOLOV5n YOLOV5s ו-. YOLOV5m כל רשת אומנה לגילוי פניהם של כל פרה כפי שמופיעה במסגרת וידאו. על ידי אימון כל אחד מרשתות אלו עבור 1500 איטרציות, השגנו תוצאת מדד דיוק mAP@IoU=0.5 מתוך 96.3% , 97.4% ו- 97.9% בהתאמה. השגנו תוצאות עבור מדד דיוק @ mAP IoU=0.5:0.95 של 70.4% , 74.8% ו- 76.7% בהתאמה. תוצאות מדד Precision עבור שלושת הרשתות היו 93.4% , 94.5% ו -95.9% ושיעורי מדד ה- Recall היו 89.2% , 93.2% ו- 93.2%
בהתאמה עבור YOLOV5n , YOLOV5s ו- .YOLOV5m
דיון
במחקר זה פיתחנו מערכת מבוססת וידיאו שיכולה לבצע גילוי פנים, וסיווג ביומטרי של הפנים עבור פרות חולבות, המבוססות אך ורק על פניהם כמאפיין הביומטרי, במהירות זמן אמת של וידאו. עבודתנו שונה מזו של חוקרים אחרים, למשל, Xu et al., (2022(, Yang, Z. et al., (2019( Yao et al., (2019 בכך שעל ידי המערכת האמיתית שבנינו והתקנו ברפת חלב, עם מצלמות וידאו שנרכשו במיוחד, ורכיבים אלקטרונים המאפשרים גישה מרחוק, לא מצאנו אף מערכת דומה בספרות המקצועית. יתר על כן, האלגוריתמים שפותחו במחקרים האחרים שהוזכרו למעלה אומנו על נתונים שנרכשו ידנית ממצלמות פשוטות כמו מצלמות של טלפונים סלולריים. הנתונים במערכת שלנו נרכשו ממצלמות וידאו שנרכשו במיוחד והותקנו בגובה של ארבעה מטרים באופן קבוע ברפת; המיקומים נבחרו בקפידה ממספר מיקומים אפשריים שונים כדי להבטיח כיסוי מרבי של אזור האכלה. המחקרים שהובאו לעיל לא הזכירו אם ישנם שיקולים כלשהם בבחירת מיקום המצלמות. היבט חדשני נוסף של המערכת בה השתמשנו הוא יכולתה לאתר ולזהות זהויות מרובות בבת אחת. רק (Yao et al., (2019 זיהו והכירו זהויות מרובות בו זמנית. עם זאת, לא הייתה שום אינדיקציה לכמה פרות ניתן לסווג בפעם אחת; כמויות שונות של פרות הוצגו בכל תמונה. יתרון חשוב נוסף בשיטה המוצעת הוא שעיבוד הווידיאו נעשה בזמן אמת, במהירות קבועה. עיבוד וידאו לא יושם באף אחת מהשיטות האחרות. לדוגמה, . Yao, Hu et al ( 2019 ) השיג שיעור של 94.7% של דיוק בסיווג פנים, על ידי רכישה ידנית של תמונות בודדות באמצעות טלפונים ניידים ומצלמות דיגיטליות, אשר דורשים צילום הפרה מטווחים קצרים מאוד, אף על פי שמרחקי הצילום לא הוזכרו. הם דיווחו על השגת מדד דיוק ממוצע של 97.4% לגילוי פנים של מספר פרות, מבלי לציין את מספר הפרות המקסימלי שניתן לסווג בתמונה. ( Xu, Wang et al. (2022 הציגו גישת גילוי וסיווג פנים של פרות, שהשיגה דיוק של 91.3% לזיהוי פנים ומדד גילוי ממוצע של 99.7% עבור 90 פרות שונות. התמונות צולמו גם הן באופן ידני עם מצלמה דיגיטלית במרחק לא מדווח מהפרות; לא נבנתה שם מערכת משולבת והעיבוד בוצע על תמונות פנים של פרות בודדות ממרחק קרוב מאוד. ההשוואה הנרחבת שעשינו השוותה בין תשע רשתות שונות של סיווג פנים, שלוש פונקציות מחיר שונות ושלושה מודלים
לגילוי פנים. כל מודל שבדקנו אומן ארבע פעמים נפרדות ונבחן על אותו סט מבחן; כל מהירויות העיבוד בזמן אמת חושבו כממוצע של ארבעת אימונים אלה לכל רשת. בדיקה זו מוסיפה אמינות גבוהה לתוצאות שהשגנו וכמו כן הן ניתנות לשחזור. מאמץ עתידי נוסף במסגרת מחקר המשך יכול להתמקד ביישום האלגוריתמים המאומנים שלנו במכשיר קצה כמו בקרי קצה מסוג NVIDIA JETSON , שיכולים להפוך את המערכת לפונקציונלית ועצמאית לחלוטין ברפת חלב בהיקף גדול. המאמצים יכולים להתמקד גם בשיפור הדיוק ליותר מ- 96.3% , וזה הדיוק הטוב ביותר שלנו באמצעות מודל Vit-small תוך שימוש בפונקצית מחיר מסוג Arcface , ותוך הפחתת מהירות העיבוד למסגרת וידאו המכילה 10 פרות בו זמנית, על ידי אופטימיזציה של רשתות ה- .AI
מסקנות
המחקר שלנו התמקד בפיתוח מערכת לגילוי פנים וסיווג ביומטרי של פרות מרובות מתוך מסגרות וידאו, במהירות זמן אמת של קבצי וידאו. השיטה והמערכת השיגו דיוק של 96.3% בסיווג הפנים כאשר הם מאומנים באמצעות מודל משולב VIT-small עם שכבת מחיר מסוג ArcFace . ככל שביררנו על ידי בדיקה בספרות המקצועית בקפידה, שיטה ומערכת זו טרם נבנו או נוסו, גם לא בתחום סיווג הפנים עבור אנשים ולא עבור בעלי חיים (ביישומי PLF) מדד ה- mean Average Precision שהושג עבור IoU = 0.5 הינו 97.8% באמצעות רשת AI לגילוי פנים מסוג YOLOV5-s והוכחנו כי ניתן להשיג שילוב של גילוי פנים וסיווג פנים למספר של תמונות פנים במקביל במערכת וידאו בזמן אמת במהירות של מתחת ל 20 אלפיות שנייה לכל מִסגֶרֶת. זה מאפשר למערכת לעבוד בזמן אמת, ללא עיכוב, במהירות של עד 50 מסגרות וידאו לשניה.
ההשלכות של מחקר זה הן כי ניתן להפחית בעתיד את הצורך בתגי אוזניים, RFIDs או מיתוג פיזי לצורך זיהוי ביומטרי של פרות חולבות, ובכך למזער את הכאב והלחץ אצל הפרה, ולחסוך עבודת ניתור ידנית וזמן של החקלאי. בנוסף, המערכת יכולה לפקח על התנהגות האכלה 24/7, ויכולה לספק לחקלאי נתונים בזמן אמת וידע מעשי על כל אחת מהפרות ברפת, כמו גם על כולן כקבוצה, ובכך לספק כלי נוסף לשיפור תפקוד הרפת ורווחת בעלי החיים בה. ▲
תודות
תודה מיוחדת לתום לב-רון על עצתו ותרומתו בנושא ראיית מחשב ואלגוריתמים למידה עמוקה והנדסת המערכת; ליוסי לפר לעזרה משמעותית בבניה והתקנת המערכת הפיזית ברפת המחקר.
