ایران - مشهد مقدس
اداره کل زمین شناسی و اکتشافات معدنی منطقه شمال شرق
دستاوردها و نوآوری‌های علمی
در این شماره نیز مانند گذشته خورشید مشرق اقدام به معرفی فعالیت‌های شاخص این اداره کل و ارائه بخشی از دستاوردهای علمی نموده است. وجه انتخاب این دستاوردها کاربردی بودن و تأثیر آنها در معرفی توانمندی سازمان و یا اهمیت علمی آنها خواهد بود.
کاربرد هوش مصنوعی در شناسایی و طبقه‌بندی ماکروفسیل‌ها
تهیه کننده: تورج مجیدی فیض آبادی
مقدمه
بینایی ماشین یکی از پیشرفته‌ترین شاخه‌های هوش مصنوعی است که به سیستم‌های کامپیوتری اجازه می‌دهد ویژگی‌های بصری جهان اطراف را درک و تفسیر کنند. فرآیند شناسایی اشیاء در این حوزه، شامل یافتن مکان دقیق یک شیء در تصویر و قرار دادن یک کادر محدودکننده حول آن است. این فناوری با بهره‌گیری از شبکه‌های عصبی عمیق، قادر است الگوهای پیچیده، لبه‌ها و بافت‌ها را استخراج کرده و با دقت بالا، حضور یک موجودیت خاص را در صحنه تشخیص دهد.
در مرحله بعد، طبقه‌بندی اشیاء وظیفه دارد برچسب مشخصی را به شیء شناسایی شده نسبت دهد تا ماهیت آن تعیین شود؛ برای مثال، تشخیص اینکه شیء موجود در کادر، یک «خودرو» است یا یک «عابر پیاده». ترکیب این دو فرآیند، زیربنای بسیاری از فناوری‌های مدرن از جمله خودروهای خودران، سیستم‌های نظارتی هوشمند و تشخیص پزشکی را تشکیل می‌دهد. با پیشرفت الگوریتم‌ها، این سیستم‌ها اکنون می‌توانند نه تنها اشیاء را شناسایی و نامگذاری کنند، بلکه در محیط‌های شلوغ و پیچیده نیز با سرعت و دقت بسیار بالا عمل نمایند.
چندین گروه پژوهشی روش‌های پردازش تصویر و یادگیری ماشین را برای شناسایی ماکروفسیل‌ها، به‌ویژه در زمینه‌های دیرینه‌شناسی، رسوب‌شناسی و دیرینه بوم‌شناسی، مورد آزمون قرار داده‌اند. مروری یکپارچه از اقدامات انجام‌شده و تکنیک‌هایی که عملکرد موفقی داشته‌اند، سه مرحله از پیشرفت‌ها را نشان می‌دهد:
۱) آزمایش‌های کلاسیک پردازش تصویر (پیش از ظهور هوش مصنوعی). این روش‌ها پیش از رایج شدن یادگیری عمیق مورد استفاده قرار می‌گرفتند. از این روش‌ها برای شناسایی ماکروفسیل‌های برگ در لایه‌های رسوبی، تشخیص اثرات فسیلی صدف‌ها، تریلوبیت‌ها و آمونیت‌ها و شمارش فسیل‌ها در تصاویرِ قطعات سنگی (اسلب‌ها) برای مطالعات دیرین‌بوم‌شناختی استفاده گردید. ولی محدودیت‌هایی نیز وجود داشت نظیر دشواری در مواجهه با بافت‌های سنگی پرنویز (ناهمگون)، حساسیت به نورپردازی و سایه‌ها و دشواری در تعمیم‌دهی به انواع مختلف فسیل‌ها.
۲) آزمایش‌های مبتنی بر بینایی رایانه‌ایِ ویژگی‌محور (۲۰۱۰–۲۰۱۶). با ظهور توصیفگرهای ویژگی ، پژوهشگران به نتایج خوبی در زمینه تشخیص الگوهای تکرارشونده در فسیل‌ها (مانند تزئینات روی صدف) و تشخیص اشکال حتی در صورت پوشیده بودن بخشی از آنها به عملکردی بهتر از روش‌های کلاسیک تشخیص لبه دست یافتند. از تجربیاتی که در این دوره صورت گرفت می‌توان به تشخیص خودکار فسیل بازوپایان با استفاده از توصیفگرهای SIFT، قطعه‌بندی فسیل صدف با استفاده از طبقه‌بندی‌کننده‌های HOG + SVM و شناسایی مقطع عرضی ناتیلوئید در مقاطع نازک اشاره کرد.
۳) آزمایش‌های یادگیری عمیق (۲۰۱۶ تاکنون) که بیشترین فعالیت‌های امروزی در آن جریان دارد:
الف) طبقه‌بندی با استفاده از CNN برای شناسایی فسیل‌ها
پژوهشگران مدل‌های CNN را از پایه آموزش دادند یا از یادگیری انتقالی با معماری‌هایی نظیر (ResNet, VGG, Inception, EfficientNet ) استفاده کردند. دقت ۸۵ تا ۹۷ درصدی در طبقه‌بندی ماکروفسیل‌ها (مانند نرم‌تنان، مرجان‌ها و تریلوبیت‌ها) و تعمیم‌پذیری بالا حتی در شرایط نوری متغیر، از نتایج این پژوهش‌ها بودند.
ب)شبکه‌های تشخیص اشیاء مورداستفاده برای مکان‌یابی فسیل‌ها در تصاویر سنگ
روش‌های نظیر YOLOv5 / YOLOv8، Faster R‑CNN و Mask R‑CNN (for segmentation) بر روی عکس‌های صحرایی، تصاویر حفاری ترانشه‌ها، پلاک‌های فسیل و تصاویر پهپادی برونزدها به کار گرفته شدند و در نتیجه مدل Mask R-CNN برای قطعه‌بندی خطوط پیرامونی فسیل‌ها به شاخص IoU معادل ۷۰ تا ۹۰ درصد دست یافت و مدل‌های مبتنی بر YOLO، ماکروفسیل‌های نمایان را در تصاویر سطحی با دقت بیش از ۹۰ درصد شناسایی کردند.
ج) قطعه‌بندی معنایی برای تحلیل بسترهای فسیلی مورد استفاده برای ردیابی خودکار مرزهای فسیلی، به‌ویژه برای حلقه‌های صدف آمونیت، فسیل‌های گیاهی و برگ و قطعات استخوانی مهره‌داران. مدل‌های متداول در این زمینه شامل U-Net، DeepLabv3+ و Segment Anything (SAM) هستند.
اداره کل زمین شناسی و اکتشافات معدنی منطقه شمال شرق با در اختیار داشتن گنجینه‌ای ارزشمند از نمونه‌های ماکروفسیل با هدف ایجاد امکان شناسایی و طبقه‌بندی ماکروفسیل‌ها به کمک هوش مصنوعی، در چارچوب کارگروه تحول دیجیتال، داده و هوش مصنوعی، زیر نظر آقای دکتر حسین فردوسی، یک طرح پژوهشی تعریف و به اجرا گذاشته است. این نوشتار گزارش مختصری از اقدامات انجام شده و نتایج حاصل ارائه می‌دهد.
بانک‌های داده
چند نمونه از مجموعه‌داده‌های شناخته‌شده عبارتند از:
• FossilNet (سنگواره‌های بی‌مهرگان بزرگ‌جثه)
• مجموعه‌داده تصویری سنگواره‌ای DeepTime (گیاهان + بی‌مهرگان)
• مجموعه‌های سنگواره‌ای برگ‌های گیاهان بزرگ (متعلق به آزمایشگاه‌های مختلف دیرینه‌گیاه‌شناسی)
• آرشیوهای تصویری سنگواره‌های موزه‌ای (مجموعه‌های دیجیتالی‌شده)
FossilNet یک مجموعه با حدود 3000 تصویر رنگی است که از 10 کلاس مختلف ماکروفسیل‌ها گردآوری شده است. در بسیاری از پژوهش‌ها نیز مجموعه‌داده‌های محلی از منابعی نظیر تصاویر نمونه دستی سنگ، اسکن‌های اسلب‌های سنگی و نمونه‌های مغزه مورد استفاده قرار می‌گیرند. در این پژوهش از بانک تصاویر نمونه‌های ماکروفسیل تهیه شده توسط سرکار خانم مهندس حسینیون، کارشناس اداره موزه و مستندات علوم زمین، بهره گرفته شد. این بانک شامل صدها تصویر از نمونه‌هایی است که در این موزه گردآوری و طبقه بندی شده‌اند.
تجربیات موفق
در حال حاضر درباره تجربیات موفق شناسایی و طبقه بندی ماکروفسیل‌ها می‌توان به مدل‌های زیر اشاره کرد:
• برای شناسایی: YOLOv8 or Faster R‑CNN
• برای استخراج دقیق مرزها: Mask R‑CNN یا U-Net
• برای طبقه بندی: ResNet یا EfficientNet
• برای فسیل‌های سه بعدی: Structure‑from‑Motion (SfM) + 3D CNNs
روش تحقیق
در این پژوهش از روش‌های مطابق با روال‌های موجود در کاربرد الگوریتم‌های هوش مصنوعی استفاده گردید. شرح مختصر روش تحقیق به صورت زیر می‌باشد:
مرحله ۱ — گردآوری و آماده‌سازی تصاویر
این مرحله در اداره موزه و مستندات علوم زمین با تصویر برداری از نمونه‌های ماکروفسیل و طبقه بندی و نامگذاری آنها انجام گردید. هر تصویر شامل مقیاس اندازه و پلاک مشخصات بوده و از هر نمونه حداقل دو تصویر تهیه شده است. هر تصویر شامل یک یا چند نمونه می‌باشد. در تصویر برداری سعی شده تا شرایط نوری مناسب بوده و نمونه‌ها حتی الامکان بدون زمینه باشند. نمونه‌ها بر اساس ساختار آرشیو موزه شماره گذاری شده اند. در مرحله اول پژوهش تصاویر مربوط به دو گونه pelecypoda و gastropoda جهت ارزیابی روش‌ها و سامانه‌ها مورد استفاده قرار گرفتند. در مرحله آزمایشی حدود 474 تصویر پلسی پود و 174 تصویر گاستروپود پس از حذف تصاویر نامناسب، انتخاب گردید.
در این مرحله در رایانه پردازنده یک ساختار پوشه‌بندی ایجاد گردید. پوشه dataset شامل دو پوشه images و labels می گردد که اولی فایلهای تصویر و دومی فایلهای متنی مربوط به اطلاعات برچسب گذاری تصاویر را نگهداری می‌کند.
مرحله ۲ — حاشیه‌نویسی
حاشیه نویسی یا برچسب گذاری یک روش رایج در خوانا کردن تصاویر است. به این معنی که موقعیت شیء در تصویر نسبت به فضای تصویر به صورت نسبی تعریف می‌شود. ابزارهای مختلفی برای تسریع این فرآیند تهیه شده‌اند که از جمله آنها می‌توان به RoboFlow، CVAT، LabelStudio و YOLOLabel اشاره کرد. در این پژوهش از نرم افزار YOLOLabel که سادگی و سرعت مناسبی برای انجام کار توسط افراد غیر متخصص نیز فراهم می‌کند، استفاده گردید. در تنظیمات نرم افزار دو کلاس
0: pelecypoda و 1:gastropoda تعریف و با معرفی پوشه تصاویر، یک به یک تصاویر توسط نرم افزار خوانده شده و برچسب گذاری به صورت دستی انجام گردید. شکل 1 محیط نرم افزار را نمایش می‌دهد.
شکل 1) نمای نرم افزار YOLOLabel جهت حاشیه نویسی یا برچسب گذاری تصاویر
مرحله ۳ — انتخاب مدل
در این پژوهش از مدل YOLOv8s برای آموزش استفاده گردید. از دلایل انتخاب این مدل می‌توان به موارد زیر اشاره کرد:
• سریع
• عالی برای تشخیص خطوط محیطی فسیل‌ها
• کارآمد با مجموعه‌داده‌های کوچک
• قابلیت استقرار آسان در محیط‌های مختلف (پایتون، موبایل، وب)
مرحله ۴ — تقویت داده‌ها
برای شبیه‌سازی شرایط واقعی سنگ و یا افزایش تصاویر جهت آموزش مدل می‌توان از یک سری عملیات تقویت‌کننده بهره گرفت. مثالهای این تقویت کننده‌ها عبارتند از:
- تغییر کنتراست
- سایه‌ها
- نویز گاوسی
- تغییر فام (Hue)
- بزرگ‌نمایی (Zoom) تصادفی
- برش (Crop) تصادفی
مدل YOLOv8 قابلیت تقویت داده‌ها را به‌صورت داخلی دارد، بنابراین به کدنویسی بسیار کمی نیاز است.
مرحله 5 — پیش پردازش تصاویر
انجام برخی اصلاحات بر روی تصاویر به بهبود عملکرد مدل کمک می‌کند، از جمله حذف اشیاء زمینه ای. تصاویر مورد استفاده در این تحقیق اغلب حاوی علامت مقیاس اندازه و پلاک مشخصات فسیل بودند که موجب کاهش دقت مدل می گردیدند. برای حذف این عوارض از زمینه تصویر بایستی قطعه‌بندی تصویر یا حذف پس‌زمینه را انجام دهیم. در این پژوهش از اطلاعات برچسب گذاری تصاویر که در آن موقعیت فسیل در تصویر استخراج گردیده است برای حذف پس‌زمینه استفاده گردید ولی صرفاً استفاده از کادرهای محیطی مدل YOLO برای «جایگزینی پس‌زمینه» کافی نیست، زیرا این کادرها صرفاً مستطیل‌شکل هستند. اگر فضای خارج از کادرها را با رنگ آبی پر کنیم، مستطیل‌های آبی‌رنگی ایجاد می‌شوند که بخش‌هایی از اشیاء را می‌پوشانند. برای دستیابی به نتیجه‌ای تمیز و دقیق، باید پیکسل‌های واقعی شیء را شناسایی کنیم. کارآمدترین روش برای انجام این کار در پایتون، استفاده از کادرهای محدودکننده مدل YOLO برای برش نواحی مورد نظر و سپس به‌کارگیری یک مدل ازپیش‌آموزش‌دیده (مانند rembg) برای حذف پس‌زمینه از آن نواحی خاص است. این عملیات در 7 مرحله به صورت زیر صورت گرفت:
1. خواندن تصویر
2. خواندن برچسب‌های YOLO
3. استخراج یا برش ناحیه شیء (فسیل)
4. حذف پس‌زمینه از برش با استفاده از rembg
5. بازگرداندن شیء «پاک‌سازی‌شده» را به مختصات تصویر اصلی
6. ایجاد پس‌زمینه آبی
7. مرحله نهایی: تشخیص اینکه چه چیزی «شیء» و چه چیزی «پس‌زمینه» است.
شکل 2 نتیجه کار را نشان می دهد:
شکل 2) حذف اشیاء پس‌زمینه از تصویر فسیل
مرحله 6 — آموزش مدل
برای آموزش مدل YOLOv8 روی مجموعه داده خود به حداقل ۵۰ تا ۲۰۰ تصویر برای تشخیص کارآمد نیاز داریم ولی در این مرحله از حدود 650 تصویر استفاده گردید. به این منظور از یادگیری انتقالی با استفاده از مدل پیش‌آموزش‌دیده `yolov8s.pt` بهره گرفته شد. شکل 3 یک نمونه از نتایج آموزش مدل را نشان می‌دهد.
شکل 3) آموزش مدل
مرحله 7 — ارزیابی مدل
ارزیابی دقت مدل در شناسایی فسیل از اهمیت زیادی برخوردار است. در این مرحله با استفاده نمودارها و معیارهای اندازه گیری مناسب، این دقت بررسی گردید. بسته به پیچیدگی شکل فسیل و میزان آموزش مدل، این دقت‌ها تغییر می کنند. معمولا با بهینه سازی پارامترهای آموزش می‌توان به دقت مناسبی دست پیدا کرد. شکل 4 نمودارهای ارزیابی دقت مدل را نشان می‌دهد:
شکل 4) ارزیابی دقت مدل
مرحله 8 — استنتاج
در این مرحله مدل آموزش دیده تصاویر فسیل‌های کاربر را دریافت کرده و با ایجاد کادرهای محصورکننده، طبقه فسیل و دقت شناسایی آن را ارائه می‌دهد. معمولا به این منظور یک رابط کاربری تهیه می‌شود که بارگزاری تصویر و دریافت نتایج را برای کاربر تسهیل می‌کند. شکل 5 یک نمونه از تصویر شناسایی شده را نشان می‌دهد:
شکل 5) شناسایی فسیل توسط مدل
نتیجه گیری
در این پژوهش نتایج نسبتا خوبی از کاربرد الگوریتم‌های بینایی ماشین جهت شناسایی و طبقه بندی ماکروفسیل‌ها حاصل شد. در راستای کاربردی کردن این تحقیقات، در مراحل بعدی تلاش می‌شود تا با افزودن به تعداد کلاس‌ها و تولید نرم افزار رابط کاربری به یک ابزار عمومی برای کمک به پژوهشگران و دانشجویان زمین شناسی دست یابیم. در پایان از همکاری خانم دکتر احمدی روحانی مدیر محترم اداره موزه و مستندات علوم زمین و همکاران ایشان در دسترسی به گنجینه ارزشمند نمونه‌های فسیل این اداره، تشکر و قدردانی می‌شود.
