سپس این داده‌ها به قالبی تبدیل می‌شوند که توسط یک ترکیب کننده(سینتی سایزر) دیجیتال قابل درک است. وقتی این سینتی سایزر فایل موسیقی را پخش می‌کند، بسیار شبیه به موسیقی اصلی ویدئو پیانو است. آزمایش «Audeo» با یک فیلم بی‌صدا از نواختن پاول بارتون، پیانیست مشهور انجام شد و وقتی صدای تولید شده با برنامه‌های تشخیص موسیقی مانند SoundHound آزمایش شد، این برنامه‌ها با دقت حدود ۸۶ درصد موفق به تشخیص قطعه مذکور شدند. در مقابل، این برنامه‌ها صدای اصلی ویدئو را با دقت ۹۳ درصد تشخیص دادند. محققان می‌گویند با توسعه بیشتر این فناوری، این شکاف باید کاهش یابد.پروفسور “الی شلیزارمن” محقق ارشد این مطالعه می‌گوید: ما امیدواریم که مطالعه ما روش‌های جدیدی را برای تعامل با موسیقی فراهم کند. به عنوان مثال، یکی از برنامه‌های آینده این است که “Audeo” را به یک پیانوی مجازی با دوربینی که فقط حرکات دست یک نوازنده را فیلمبرداری می‌کند، گسترش دهیم. همچنین، با قرار دادن یک دوربین در بالای یک پیانوی واقعی، “Audeo” می‌تواند به طور بالقوه به روش‌های جدید آموزش هنرجویان در نواختن پیانو کمک کند.
هوش‌مصنوعی‌ازفیلم‌صامت‌موسیقی می‌سازد
قلم | qalamna.ir :
گروه علمی: یک هوش مصنوعی جدید توسعه یافته توسط محققان دانشگاه واشنگتن قادر است از روی مشاهده یک ویدئوی بی‌صدا از نواختن پیانو، موسیقی در حال نواخته شدن را تولید کند. یک سیستم جدید هوش مصنوعی با بازتولید دیجیتالی موسیقی در حال نواخته شدن در یک ویدئوی صامت، حوزه هوش مصنوعی را یک گام جلوتر برده است.این فناوری که با نام “Audeo” شناخته می‌شود، توسط گروهی در دانشگاه واشنگتن طراحی شده است و شامل نرم افزار هوش مصنوعی است که تقریباً با ۱۷۲ هزار فریم ویدئویی از “پل بارتون” نوازنده پیانو در حال نواختن آثار آهنگسازان کلاسیک مانند موتسارت و باخ آموزش داده شده است.این سیستم یک فیلم بی‌صدا از نواختن پیانو را با تعیین اینکه چه کلیدهایی به چه ترتیب فشرده می‌شوند، تعیین تک‌تک نت‌ها و ترتیب آنها تجزیه و تحلیل می‌کند. با این وجود، همچنین درک می‌کند که هر کلید با چه میزان فشاری فشرده می‌شود و چه مدت پایین نگه داشته می‌شود. این کار به این سیستم اجازه می‌دهد شدت هر نت و مدت زمانی را که در زیر صدای نت‌های بعدی پخش می‌شود، تشخیص دهد. همچنین ویژگی‌های خاص صوتی پیانوها را در نظر می‌گیرد.
