مقدمه ای بر بینایی کامپیوتر

عکس سگ من ، پدینگتون ، با محدودیت جعبه هایی که برگها را نشان می دهند قطعاً خوراکی نیستند. (تصویر Roboflow.)

بینایی رایانه می تواند انقلابی در جهان ایجاد کند. تا کنون ، بینایی رایانه ای به انسان کمک کرده است تا مشکلات زیادی را حل کند ، مانند کاهش ترافیک و نظارت بر سلامت محیط.

تصاویر یک راکون جذاب ، لنی ، با حاشیه نویسی جعبه. (تصویر Roboflow.)

از لحاظ تاریخی ، برای انجام بینایی کامپیوتری ، به یک پیش زمینه فنی واقعا قوی نیاز داشتید. پس از خواندن این پست ، باید درک خوبی از بینایی کامپیوتر بدون پیش زمینه فنی قوی داشته باشید و باید مراحل لازم برای حل مشکل بینایی رایانه را بدانید.

بینایی کامپیوتر چیست؟

< p> در یک مفهوم اساسی ، بینایی رایانه ای این توانایی را دارد که یک کامپیوتر بتواند آنچه را که شبیه انسان است ببیند و درک کند.

وقتی می خواهید از یک لیوان آب یک نوشیدنی بخورید ، چندین موارد مرتبط با بینایی اتفاق می افتد:

شما باید تشخیص دهید که چیزی که در پیش رو دارید یک لیوان آب است. باید بدانید که بازو و شیشه شما کجاست ، سپس بازوی خود را در جهت شیشه حرکت دهید. شما باید تشخیص دهید که وقتی دستتان آنقدر نزدیک است که بتوانید شیشه را به درستی بگیرید. باید بدانید صورت شما کجاست ، سپس لیوان را بردارید و آن را به سمت صورت خود ببرید.

بینایی کامپیوتر یک چیز مشابه است ... اما برای رایانه ها!

مشکلات بینایی کامپیوتر در چند سطل مختلف قرار می گیرد. این مهم است زیرا مشکلات مختلف با روش های مختلف حل می شوند.

انواع مختلف مشکلات بینایی رایانه چیست؟

انواع مشکلات بینایی رایانه. اقتباس از دوره استنفورد CS 231N. (تصویر Roboflow.)

شش نوع مشکل بینایی رایانه وجود دارد که چهار مورد از آنها در تصویر بالا نشان داده شده است.

طبقه بندی: دسته بندی هر تصویر در یک سطل. به عنوان مثال ، اگر شما یک دسته 100 تصویر داشتید که هر کدام شامل یک گربه یا یک سگ بودند ، طبقه بندی به این معنی است که پیش بینی می کنید تصویری که در دست دارید از گربه است یا سگ. در هر تصویر ، فقط یک شیء وجود دارد که برای برچسب زدن به آن اهمیت می دهید - رایانه شما تشخیص نمی دهد که دو سگ در یک تصویر هستند یا یک گربه و یک سگ وجود دارد - فقط یک تصویر متعلق به سطل "سگ" یا " سطل گربه " یک مثال واقعی از طبقه بندی برای اهداف امنیتی است: استفاده از فیلم ویدئویی و بینایی رایانه ای برای تشخیص اینکه آیا نفوذی بالقوه در تصویر وجود دارد یا خیر. در زیر یک مثال متفاوت نشان می دهیم: یک مدل VGG16 یک اتوبوس مدرسه را درست پیش بینی می کند. Roboflow این تصویر را به عنوان اتوبوس مدرسه و نه تاکسی ، واگن برقی یا چیز دیگری به درستی تشخیص می دهد. (تصویر Roboflow.) طبقه بندی+محلی سازی: دسته بندی هر تصویر در یک سطل و شناسایی جایی که موضوع مورد علاقه در کادر قرار دارد. به عنوان مثال ، اگر یک دسته 100 تصویر داشته باشید که شامل یک سگ یا یک گربه باشد ، رایانه شما قادر خواهد بود تشخیص دهد که آیا تصویر حاوی سگ است یا گربه و کجا در تصویر است. در هر تصویر ، فقط یک شی وجود دارد که به برچسب زدن برای آن اهمیت می دهید.در محلی سازی ، رایانه مشخص می کند که کجا آن شی از چیزی به نام جعبه محدود استفاده می کند. یک نمونه واقعی از طبقه بندی+محلی سازی ، اسکن و تشخیص این است که آیا نشتی در خط لوله وجود دارد یا خیر ، و در صورت وجود ، این نشت کجاست. مثال دیگر استفاده از بینایی رایانه ای برای مقابله با آتش سوزی با تشخیص دود و تلاش برای خاموش کردن آن با آب یک هواپیمای بدون سرنشین قبل از اینکه آتش از کنترل خارج شود GIF دود آتش سوزی در حال تشخیص است. (منبع تصویر.) تشخیص شی: شناسایی محل مورد علاقه ، برای هر مورد مورد علاقه. به عنوان مثال ، اگر شما یک دسته 100 تصویر داشته باشید و هر یک عکس خانوادگی با حیوانات خانگی باشد ، رایانه شما مکان انسانها و حیوانات خانگی را در هر تصویر مشخص می کند. تصاویر می توانند شامل هر تعداد شیء باشند. آنها فقط به یک مورد محدود نمی شوند یک نمونه واقعی از تشخیص شیء استفاده از بینایی رایانه ای برای ارزیابی سرطان با تشخیص گلبول های قرمز ، گلبول های سفید خون و سطح پلاکت ها است. تشخیص نوتروفیل ها ، نوعی گلبول سفید خون که نقش کلیدی در سیستم ایمنی بدن حیوانات دارد. (اعتبار: Matro Sokac ؛ مجاز به استفاده.) تقسیم بندی معنایی: تشخیص مجموعه ای از پیکسل های متعلق به یک کلاس خاص از شی. این مانند تشخیص شی است ، اما تشخیص شی یک کادر محدود کننده در اطراف شیء قرار می دهد ، در حالی که تقسیم بندی معنایی سعی می کند با اختصاص هر پیکسل به یک کلاس ، هر شی را از نزدیک تشخیص دهد. این یک راه حل خوب برای هر گونه مشکل بینایی رایانه است که به چیزی ظریف تر یا خاصتر از یک جعبه محدود کننده نیاز دارد. تصویر زیر نمونه ای از تقسیم بندی معنایی است. یک مثال در دنیای واقعی ممکن است بیشتر اهداف تصویربرداری پزشکی باشد-قرار دادن یک جعبه محدود کننده در قلب یا ریه کافی نیست ، بلکه می خواهیم قلب را با یک مرز دقیق از ریه جدا کنیم. این مقاله یک حرکت عمیق فوق العاده در بخش بندی معنایی است و از مثال ذکر شده در دنیای واقعی الهام گرفته است. اعمال تقسیم بندی معنایی بر روی تصویر سه نفر در دوچرخه. (منبع اصلی.) تقسیم بندی نمونه: بسیار شبیه به تقسیم بندی معنایی است اما بین اشیاء در یک کلاس تفاوت قائل می شود. در تصویر بالا ، سه نفر و سه دوچرخه به نظر می رسد. تقسیم بندی معنایی هر پیکسل را به یک کلاس طبقه بندی می کند ، بنابراین هر پیکسل در سطل "شخص" ، "دوچرخه" یا "پس زمینه" قرار می گیرد. با تقسیم بندی نمونه ، ما قصد داریم بین کلاسهای اشیاء (شخص ، دوچرخه ، پس زمینه) و اشیاء داخل هر کلاس تمایز قائل شویم - به عنوان مثال. بگویید کدام پیکسل متعلق به چه شخصی است و کدام پیکسل متعلق به کدام دوچرخه است. تشخیص نقطه کلیدی: این روش همچنین به عنوان تشخیص نقطه عطفی شناخته می شود ، این رویکردی است که شامل شناسایی نقاط کلیدی یا نقاط مشخص در یک شی و ردیابی آن شی است. در سمت چپ تصویر زیر ، توجه داشته باشید که تصویر چوب مانند انسان دارای کد رنگی است و مکان های مهم (این نقاط کلیدی/نشانه ها!) با یک شماره مشخص شده است. در سمت راست تصویر متوجه می شویم که هر انسانی با یک چوب مشابه مطابقت دارد. در تشخیص نقاط کلیدی ، رایانه تلاش می کند تا نقاط دیدنی هر انسان را شناسایی کند. این مقاله بیشتر توضیح می دهدجزئیات در مورد تشخیص کلیدهای کلیدی. اعمال تشخیص کلید واژه برای پنج نفر. (منبع تصویر.)

چگونه می توانم مشکلات بینایی کامپیوتر را حل کنم؟

اگر می خواهید رایانه شما به شما در حل مشکلات مربوط به داده ها کمک کند ، معمولاً یک سری مراحل را دنبال می کنید. همین امر در مورد مشکلات بینایی رایانه صادق است ، مگر اینکه مراحل کمی متفاوت به نظر برسند.

یک فرآیند هفت مرحله ای برای حل مشکلات بینایی رایانه. (تصویر Roboflow.)

ما هر یک از این مراحل را طی می کنیم ، با این هدف که در پایان فرآیند مراحل مورد نیاز برای حل مشکل بینایی کامپیوتر و همچنین یک مشکل خوب را بدانید. نمای کلی رایانه.

جمع آوری: برای استفاده از داده ها برای حل مشکل ، باید داده ها را برای انجام این کار جمع آوری کنید! برای بینایی رایانه ، این داده ها شامل تصاویر و/یا فیلم ها است. این می تواند به سادگی گرفتن عکس یا فیلم در تلفن شما و سپس بارگذاری آنها در سرویسی باشد که می توانید از آن استفاده کنید. Roboflow به شما امکان می دهد با بارگذاری مستقیم از رایانه خود ، مجموعه داده خود را به راحتی ایجاد کنید. (واقعیت سرگرم کننده ای که بینایی رایانه را با فیلم ها آسان تر می کند: ویدیوها فقط تصاویری هستند که به ترتیب مرتب شده اند!) برچسب: در حالی که هدف این است که رایانه ها همانطور که ما انسان ها می بینیم ببینند ، رایانه ها درک می کنند تصاویر بسیار متفاوت! این تصویر (بسیار پیکسلی) از آبراهام لینکلن را ببینید. در سمت چپ ، فقط تصویر را مشاهده می کنید. در وسط ، تصویر را با اعداد داخل هر پیکسل مشاهده می کنید. هر عدد نشان می دهد که پیکسل چقدر روشن یا تیره است - هرچه پیکسل روشن تر باشد ، این عدد بیشتر است. تصویر درست همان چیزی است که کامپیوتر می بیند: فقط اعداد مربوط به هر پیکسل. سه تصویر از آبراهام لینکلن. (منبع اصلی.)

اگر هدف شما این است که رایانه خود را بشناسید تا بفهمد سگ ها چگونه به نظر می رسند ، پس کامپیوتر به شما نیاز دارد که به او بگویید کدام پیکسل ها مربوط به یک سگ است! اینجاست که تصویر خود را برچسب گذاری یا حاشیه نویسی می کنید. در زیر تصویری از مجموعه داده مادون قرمز حرارتی است که به طور فعال در حال حاشیه نویسی است. یک جعبه محدود کننده در اطراف فرد کشیده شده و یک جعبه محدود کننده جداگانه در اطراف سگ کشیده شده است. این کار توسط یک انسان انجام می شود. (از آنجا که این تصویر دارای بیش از یک شیء است و از کادرهای محدود کننده استفاده می کند ، می دانیم که این تصویر برای یک کار تشخیص شی استفاده می شود!) این کادرهای محدود کننده از طریق ابزاری به نام Microsoft VoTT یا ابزار برچسب گذاری ویژوال شی اضافه می شوند. < /p> حاشیه نویسی تصویر با Microsoft VoTT ؛ ما یک آغازگر در مورد نحوه استفاده از VoTT نوشتیم. (تصویر Roboflow.)

این تنها ابزار نیست - شما می توانید از ابزارهای دیگر مانند CVAT (Computer Vision Annotation Tool) ، برنامه وب Roboflow یا خود API بارگذاری ما استفاده کنید.

هنگامی که داده ها را جمع آوری کردید و ابزار خود را برای برچسب گذاری انتخاب کردید ، شروع به برچسب زدن می کنید! شما باید سعی کنید تا آنجا که می توانید تصاویر را برچسب گذاری کنید. اگر تعداد تصاویر شما بیش از آن چیزی است که می توانید برچسب گذاری کنید ، در اینجا چند استراتژی یادگیری فعال برای برچسب زدن موثرتر تصاویر آمده است.

سازماندهی: آیا در تیمی کار کرده اید که چندین نفر در آن Google Docs را ویرایش می کنند - یا بدتر ، ارسال به اطراف فایل های مایکروسافت ورد؟ تو وممکن است تیم شما هنگام کار با تصاویر با مشکلات مشابهی روبرو شود. شاید از تیم خود خواسته اید که تصاویر را نیز جمع آوری کند. اگر تصاویر زیادی دارید - وقتی یک مدل در حال ساخت است بسیار عالی است! - زمان زیادی برای مرتب سازی و حاشیه نویسی آنها لازم است. علاوه بر این ، احتمالاً می خواهید EDA را روی تصاویر خود (تجزیه و تحلیل داده های اکتشافی) انجام دهید ، مانند بررسی مقادیر از دست رفته و مطمئن شدن از برچسب گذاری صحیح تصاویر. این مرحله ممکن است به نظر برسد که می توانید از آن بگذرید ، اما یک مرحله حیاتی است! فرایند: قبل از ساختن مدلی که به کامپیوتر شما "چگونه می بیند" آموزش می دهد ، گام هایی وجود دارد که می توانید انجام دهید مدل شما حتی بهتر عمل می کند پیش پردازش تصویر شامل مراحلی است که برای اطمینان از یکنواختی تصاویر خود انجام می دهید. اگر برخی از تصاویر مقیاس خاکستری و برخی از تصاویر رنگی قرمز/سبز/آبی را دارید ، ممکن است همه آنها را به مقیاس خاکستری تبدیل کنید. اگر اندازه تصاویر متفاوت است ، اکثر مدلها نیاز دارند که همه تصاویر دارای یک اندازه باشند. تقسیم داده های شما به مجموعه های آموزشی ، تأیید و آزمایش نیز زیر چتر پیش پردازش تصویر قرار می گیرد. برخی مراحل رایج پیش پردازش و افزایش تصویر در Roboflow موجود است. (تصویر Roboflow.)

همچنین می توانید کاری به نام افزایش تصویر انجام دهید. این کمی متفاوت است - این فقط بر تصاویری که شما برای آموزش مدل خود استفاده می کنید (نحوه مشاهده کامپیوتر را آموزش دهید) تأثیر می گذارد. در یک جمله ، بزرگنمایی تصویر تغییرات کوچکی در تصاویر شما ایجاد می کند به طوری که حجم نمونه شما (تعداد تصاویر) افزایش می یابد و به احتمال زیاد تصاویر شما منعکس کننده شرایط دنیای واقعی هستند. به عنوان مثال ، می توانید جهت تصویر خود را به طور تصادفی تغییر دهید. بگویید با تلفن خود از یک کامیون عکس می گیرید. اگر رایانه آن تصویر دقیق را ببیند ، ممکن است کامیون را تشخیص دهد. اگر رایانه تصویری مشابه از یک کامیون را مشاهده کرد که با دست کسی چند درجه چرخانده شده است ، ممکن است رایانه تشخیص کامیون را دشوارتر کند. افزودن مراحل تقویت ، حجم نمونه شما را با ایجاد کپی از تصاویر اصلی و سپس کمی مزاحمت برای آنها افزایش می دهد تا مدل شما دیدگاه های دیگری را نیز ببیند.

آموزش: این جایی است که رایانه شما می بیند! مدلهای مختلف بینایی رایانه ای وجود دارد که می توانید بسازید - از جمله برخی از مدلهای تشخیص شیء و برخی از مدلهای طبقه بندی تصویر. این امر اغلب نیاز به تخصص بیشتری در برنامه نویسی و یادگیری ماشین نسبت به آنچه امروز ارائه می دهیم ، دارد. (در Roboflow ، پلت فرم قطار مدل ما با یک کلیک در حالت بتا خصوصی قرار دارد. در لیست انتظار آموزش مدل با یک کلیک قرار بگیرید!) قبلاً من از مثال شما استفاده کردم که یک دسته 100 تصویر داشتید که هر کدام شامل یک گربه یا یک سگ معنای "آموزش" این است که رایانه ما اساساً بارها و بارها از طریق آن تصاویر عبور می کند و یاد می گیرد که داشتن یک سگ یا گربه در یک تصویر به چه معناست. امیدوارم تصاویر کافی داشته باشیم و کامپیوتر در نهایت به اندازه کافی یاد بگیرد تا بتواند تصویری از سگی را که قبلاً دیده نشده است ببیند و آن را به عنوان یک سگ تشخیص دهد - مانندسگ من ، پدینگتون ، زیر! نمی توانم در مورد سگها صحبت کنم و تصویری از سگ من ، پدینگتون ندارم! (تصویر توسط نویسنده.)

روشهای مختلفی وجود دارد که ما می توانیم میزان رایانه ما را به خوبی تشخیص دهیم.

برای مشکلات طبقه بندی تصویر ، معیارهای استاندارد طبقه بندی شما مانند دقت یا نمره F1 باید کافی باشد. وقتی صحبت از تشخیص شی می شود ، ما ترجیح می دهیم از میانگین دقت متوسط ​​استفاده کنیم-و چرا در فرایند فکر خود قدم می زنیم؟

مدلهای مختلفی وجود دارد که می توانند برای مشکلات تصویر استفاده شود ، اما رایج ترین (و معمولاً بهترین عملکرد!) شبکه عصبی پیچشی است. اگر از یک شبکه عصبی متغیر استفاده می کنید ، بدانید که بسیاری از قضاوت ها در معماری مدل وارد شده اند که بر قدرت دیدن رایانه شما تأثیر می گذارد! خوشبختانه برای ما ، تعداد زیادی معماری مدل از پیش تعیین شده وجود دارد که برای مشکلات مختلف بینایی رایانه بسیار خوب عمل می کند.

استقرار: آموزش مدل هنوز پایان کار نیست-احتمالاً می خواهید از آن استفاده کنید مدل در دنیای واقعی! در بسیاری از موارد هدف ایجاد سریع پیش بینی ها است. در بینایی رایانه ای ، ما آن را استنباط می نامیم. (این کمی متفاوت از معنای استنباط در آمار است ، اما ما در اینجا به آن نمی پردازیم.) یک مدل تشخیص شیء YOLOv5 که پیش بینی های زمان واقعی را با دوچرخه ، ماشین و شخص ایجاد می کند. (تصویر Roboflow.)

ممکن است بخواهید مدل خود را در برنامه ای قرار دهید ، بنابراین رایانه شما می تواند پیش بینی ها را در زمان واقعی مستقیماً از تلفن شما ایجاد کند! ممکن است بخواهید به برنامه ای در رایانه خود ، یا به AWS ، یا چیزی داخلی در تیم خود بپردازید. ما قبلاً به طور مفصل در مورد یکی از روشهای استقرار مدل بینایی رایانه در اینجا نوشتیم. اگر حداقل کمی با Python و API ها آشنا هستید ، این مستندات در مورد استنباط در بینایی رایانه می تواند مفید باشد!

نمایش: آیا می خواهید یک قدم جلوتر بروید؟ اگر شما یا فردی در تیم خود با فناوری واقعیت افزوده مانند ARCore گوگل یا ARKit اپل آشنا هستید ، می توانید مدل استقرار یافته خود را به سطح بعدی برسانید.

صرف نظر از مراحل بعدی شما ، کار انجام نمی شود اینجا کاملاً تمام نمی شود! کاملاً مستند است که مدلهایی که به خوبی روی تصاویری که به آن می دهید کار می کنند ، ممکن است با گذشت زمان بدتر کار کنند. (ما برخی از تحقیقات گوگل در مورد این مشکل عملکرد مدل را مطالعه کردیم و نکات مهم ما را شرح دادیم.) با این حال ، ما امیدواریم که شما به این نتیجه رسیده اید که به هدفی که در ابتدای این پست نوشتیم رسیده اید:

پس از خواندن این مطلب پست ، شما باید درک خوبی از بینایی کامپیوتر بدون پیش زمینه فنی قوی داشته باشید و باید مراحل لازم برای حل مشکل بینایی رایانه را بدانید.

از اینکه تا اینجا با ما همراه بودید متشکریم! هرگونه سوال یا منابع اضافی که در نظرات دارید به ما اطلاع دهید - و اگر چیزی در ارتباط با بینایی رایانه ایجاد می کنید ، خوشحال می شویم ببینیم شما چه کار می کنید!

در ابتدا در https: //blog.roboflow منتشر شده است .com در 23 نوامبر 2020.