Luma AI چیست؟ | تبدیل ویدیو به مدل‌ 3D

شرکت Luma AI واقع در کالیفرنیا، قصد دارد ساخت صحنه‌های سه‌بعدی را برای عموم مردم آسان کند. پس از انتشار ابزار تبدیل متن به ویدیوی 3D، این استارت آپ اکنون یک API جدید برای تبدیل تصاویر و ویدیوها به مدل‌های سه بعدی معرفی کرده است.

استارت آپ Luma AI می‌گوید: ایجاد یک مدل سه بعدی در حال حاضر بین دو تا ده هفته طول می‌کشد و بین 60 تا 1500 دلار هزینه دارد. آن‌ها می‌خواهند این فرآیند را بسیار سریع‌تر و ارزان‌تر کنند. تا 30 دقیقه و کمتر از 1 دلار برای هر مدل.

بدین منظور، این شرکت که اخیراً در دور اول جمع آوری سرمایه خود، 20 میلیون دلار به دست آورد، از یک API ویدیو سه بعدی رونمایی کرده است. شعار آن‌ها این است: «مأموریت ما همگانی کردن صنعت سه بعدی است». تمام این کارها، توسط استارت آپ Palo Alto در کالیفرنیا انجام می‌شود که 14 کارمند دارد و می‌خواهد صنعت سه بعدی واقع‌گرایانه هالیوود را همگانی کند.

ما در یک دنیای سه بعدی زندگی می‌کنیم. ادراک و خاطرات ما همگی از موجودات سه بعدی است. با این حال، هیچ راهی برای ثبت و بازنگری چنین لحظاتی وجود ندارد. تنها چیزی که می‌توانیم ثبت کنیم، برش‌های دوبعدی است که آن را عکس می‌نامیم. اکنون زمان آن رسیده که این موضوع را تغییر دهیم.

Luma AI

توسعه دهندگان می‌توانند برای ایجاد یک مدل سه بعدی از مجموعه‌ای از تصاویر یا ویدیوها، از API جدید این پلتفرم استفاده کنند. کاربران عادی هم می‌توانند به رابط وب Luma AI دسترسی داشته باشند. برای دستیابی به بهترین نتیجه ممکن، Luma دستورالعمل‌هایی را ارائه می‌دهد.

چگونه با Luma AI یک صحنه سه بعدی عالی بسازیم؟

• صحنه یا شیء، باید با راه رفتن دایره‌ای در اطراف آن عکس‌برداری شود. برای جلوگیری از تار شدن تصویر، قدم‌ها باید تا حد امکان آهسته باشند. همچنین حالت HDR باید خاموش باشد.
• بهتر است از سه ارتفاع مختلف عکس بگیرید: ارتفاع قفسه سینه به سمت جلو، بالای سر که کمی به سمت پایین و به مرکز صحنه نگاه کنید. حالت سوم اختیاری‌ست. می‌توانید حالت سوم را به صورت wide angle یا fisheye (ultra wide angle) انتخاب کنید. هنگام آپلود باید این مورد را مشخص کنید.
• حداکثر فایل ویدیویی که می‌توانید آپلود کنید، 5 گیگابایت است. همین امر در مورد آرشیو zip تصاویر نیز صدق می‌کند. برای کسب اطلاعات بیشتر، به مستندات Luma AI مراجعه کنید. Luma در پایان یک  NeRF (یک صحنه سه بعدی آموزش دیده شده با شبکه عصبی) ایجاد می‌کند.
• در تست کوتاه من، قابلیت video-to-3D ابزار هوش مصنوعی Luma کاملاً قابل استفاده بود. اگرچه شیء مرکزی کمی وضوح پایینی داشت، اما من از یک دسته گل استفاده کردم که در یک شیشه شفاف قرار گرفته بود، و این شیء کمی پچیده بود. عکس‌های اضافی احتمالاً کیفیت فایل نهایی را بهبود می‌بخشند.
• پس از پردازش در سرور، صحنه سه بعدی می‌تواند به عنوان یک شیء (GLTF, USDZ, OBJ) یا mesh scene (PLY) دانلود شود، لینک آن به اشتراک گذاشته شود، یا به عنوان یک iframe جاسازی شود. این نمونه‌ای از یک صندلی است که به شما نشان می‌دهد چگونه می‌توان با یک شیء ساده کار کرد.

با مقداری اعتبار رایگان شروع کنید

برای استفاده از این ابزار جدید سه بعدی، می‌توانید به صورت رایگان ثبت نام کنید. ده اعتبار رایگان – معادل ده صحنه سه بعدی- برای تست در دسترس شما قرار دارد. Luma AI نوید بهبود کیفیت و کاهش زمان پردازش در آینده‌ای نزدیک را داده است.

در دسامبر 2022، Luma AI یک رابط text-to-3D به نام Imagine 3D راه اندازی کرد که نتایج چشمگیری از آن دریافت می‌شد. این ابزار در حال حاضر فقط از طریق عضویت در یک لیست انتظار در دسترس است.

خلاصه

• Luma AI می‌خواهد مدل‌های سه بعدی را همگانی کند و برای تبدیل تصاویر و ویدیوها به صحنه‌های سه بعدی، یک API ارائه می‌دهد.
• هدف این استارت آپ، کاهش زمان ساخت مدل‌های سه بعدی به 30 دقیقه و کاهش قیمت ساخت آن‌ها به 1 دلار برای هر صحنه است که برای این کار، از تکنولوژی NeRF استفاده می‌کند.
• این شکرت می‌خواهد ساخت صحنه‌های سه بعدی با «کیفیت هالیوودی» را در دسترس همه قرار دهد و نکات و دستورالعمل‌هایی را برای ساختن صحنه‌های سه بعدی فوق‌العاده، ارائه می‌دهد.

منبع ترجمه: the-decoder