معرفی گرافیک TensorFlow: گرافیک کامپیوتری با یادگیری عمیق همراه است

ارسال شده توسط ژولین والنتین و سوفین بوعزیز

مخزن Github: https://github.com/tensorflow/graphics

در چند سال گذشته شاهد افزایش گرافیک های متمایز جدید بوده ایم لایه هایی که می توانند در معماری شبکه عصبی وارد شوند. از ترانسفورماتورهای فضایی گرفته تا پردازنده های گرافیکی متمایز ، این لایه های جدید از دانش به دست آمده در طول سال های بینایی رایانه و تحقیقات گرافیکی برای ایجاد معماری های جدید و کارآمدتر شبکه استفاده می کنند. مدل سازی صریح مقدمات و محدودیت های هندسی در شبکه های عصبی ، راه را برای معماری هایی باز می کند که می توان به طور قوی ، کارآمد و مهمتر از همه ، به شیوه ای تحت نظارت خود آموزش دید. به اشیاء سه بعدی و موقعیت مطلق آنها در صحنه ، توصیف موادی که از آنها ساخته شده است ، چراغ ها و دوربین نیاز دارد. این توصیف صحنه سپس توسط یک ارائه کننده تفسیر می شود تا تصویری مصنوعی ایجاد شود.

< /img>

در مقایسه ، یک سیستم بینایی کامپیوتری از یک تصویر شروع می کند و سعی می کند پارامترهای صحنه را استنباط کند. این امکان پیش بینی اجسام موجود در صحنه ، موادی که از آنها ساخته شده است و موقعیت و جهت سه بعدی آنها را می دهد.

آموزش سیستم های یادگیری ماشین قادر به حل این وظایف پیچیده بینایی سه بعدی اغلب به حجم زیادی داده نیاز دارد. از آنجا که برچسب زدن داده ها یک فرایند پرهزینه و پیچیده است ، مهم است که سازوکارهایی برای طراحی مدل های یادگیری ماشین وجود داشته باشد که بتوانند جهان سه بعدی را در حالی که بدون نظارت زیاد آموزش دیده اند درک کنند. ترکیب بینایی رایانه ای و تکنیک های گرافیکی رایانه ای ، فرصتی منحصر به فرد برای استفاده از حجم وسیعی از داده های بدون برچسب به آسانی در اختیار شما قرار می دهد. همانطور که در تصویر زیر نشان داده شده است ، به عنوان مثال ، می توان با استفاده از تجزیه و تحلیل سنتز در جایی که سیستم بینایی پارامترهای صحنه را استخراج می کند و سیستم گرافیکی بر اساس آنها تصویر را باز می گرداند ، به این مهم دست یافت. اگر رندر با تصویر اصلی مطابقت داشته باشد ، سیستم بینایی پارامترهای صحنه را به طور دقیق استخراج کرده است. در این راه اندازی ، بینایی رایانه ای و گرافیک رایانه ای دست به دست هم داده و یک سیستم یادگیری ماشینی واحد شبیه به رمزگذار خودکار تشکیل می دهند که می تواند به صورت خودآموز آموزش داده شود.

لایه های گرافیکی متفاوت

در ادامه ، برخی از قابلیت های موجود در گرافیک TensorFlow این تور جامع نیست. برای کسب اطلاعات بیشتر از Github ما دیدن کنید تا امکانات جدیدی را که TensorFlow Graphics در اختیار شما قرار می دهد ، بیابید. در تصویر زیر ، فرمالیسم زاویه محور برای چرخاندن یک مکعب استفاده شده است. محور چرخش به سمت بالا است و زاویه آن مثبت است و مکعب را در جهت خلاف جهت عقربه های ساعت می چرخاند. در این مثال Colab ، ما نشان می دهیم که چگونه فرمالیسم های چرخشی را می توان در یک شبکه عصبی آموزش داد که برای پیش بینی چرخش و ترجمه یک شی مشاهده شده آموزش دیده است. این وظیفه هسته اصلی بسیاری از برنامه ها از جمله روبات هایی است که بر تعامل با محیط خود تمرکز می کنند. در این سناریوها ، گرفتن اشیاء (به عنوان مثال توسط دسته آنها) با بازوی روباتیک نیاز به برآورد دقیق موقعیت این اجسام نسبت به بازو دارد.

مدل سازی دوربین ها

مدل های دوربین نقش بسزایی در بینایی کامپیوتر دارندبر ظاهر اجسام سه بعدی که بر روی صفحه تصویر نمایش داده می شود تأثیر می گذارد. همانطور که در زیر مشاهده می شود ، به نظر می رسد که مکعب در حال بزرگ شدن و پایین آمدن است ، در حالی که در واقعیت این تغییرات فقط به دلیل تغییر در فاصله کانونی است. این مثال Colab را برای جزئیات بیشتر در مورد مدل های دوربین و یک مثال مشخص از نحوه استفاده از آنها در TensorFlow امتحان کنید.

مواد

مدل های مواد نحوه تعامل نور با اجسام را مشخص می کنند تا ظاهر منحصر به فرد خود را به آنها بدهند. به عنوان مثال ، برخی از مواد مانند گچ نور را به طور یکنواخت در همه جهات منعکس می کنند ، در حالی که برخی دیگر مانند آینه ها کاملاً دیدنی هستند. در این دفترچه تعاملی Colab ، نحوه تولید رندرهای زیر را با استفاده از Tensorflow Graphics خواهید آموخت. همچنین این فرصت را خواهید داشت که با پارامترهای مواد و نور بازی کنید تا حس خوبی از نحوه تعامل آنها ایجاد شود. پیش بینی دقیق خواص مواد برای بسیاری از وظایف اساسی است. به عنوان مثال ، می تواند به کاربران این امکان را بدهد که مبلمان مجازی را در محیط خود رها کرده و قطعات را بصورت واقع بینانه با فضای داخلی خود ترکیب کرده و به کاربران درک دقیقی از ظاهر آن مبلمان بدهند.

هندسه-پیچیدگی های سه بعدی و یکپارچه سازی

در سال های اخیر ، سنسورهای خروجی سه بعدی داده ها به شکل ابرهای نقطه ای یا مشبک در حال تبدیل شدن به بخشی از زندگی روزمره ما هستند ، از سنسورهای عمق تلفن های هوشمند گرفته تا لیدارهای اتومبیل خودران. با توجه به ساختار نامنظم آنها ، پیوندهای روی این نمایش ها به طور قابل توجهی در مقایسه با تصاویری که ساختار شبکه معمولی را ارائه می دهند ، بسیار سخت تر است. TensorFlow Graphics دارای دو لایه کانولوشن سه بعدی و یک لایه جمع آوری سه بعدی است که به عنوان مثال به شبکه ها اجازه می دهد تا طبقه بندی بخش های معنایی را روی مشها انجام دهند ، همانطور که در زیر نشان داده شده و در این دفترچه Colab نشان داده شده است.

TensorBoard 3d

اشکال زدایی بصری یک راه عالی برای ارزیابی اینکه آیا یک آزمایش در حال انجام است یا خیر در جهت درست برای این منظور ، TensorFlow Graphics دارای یک افزونه TensorBoard است تا بصورت تعاملی مشهای سه بعدی و ابرهای نقطه ای را تجسم کند.

شروع کنید

اولین نسخه پشتیبانی از TensorFlow Graphics با TensorFlow 1.13.1 و بالاتر سازگار است. با مراجعه به https://www.tensorflow.org/graphics API و دستورالعمل های نصب کتابخانه را خواهید یافت .

تقدیرنامه

ایجاد گرافیک TensorFlow یک کار گروهی بود. تشکر ویژه از جم کسکین ، پاول پیدلیپنسکی ، آمیش ماکادیا و آونش سود که همگی سهم قابل توجهی داشتند.