دستگاهی که به سر این نوازنده پیانو متصل است سنسورهایی دارد که واکنش های سیستم عصبی مغز را ضبط می کنند. یک «کینکت» معمولی مثل نمونه ای که در دستگاه ایکس باکس ۳۶۰ به کار رفته نیز کنار پیانو است که حرکت دست پیانیست را ضبط می کند. پیانیست مانند یک رهبر ارکستر نوای ضبط شده پیانو را با دست بار دیگر اجرا می کند که آن هم بیدرنگ در حافظه رایانه ضبط می شود.
فرانچیسکو پروده توضیح می دهد: «به این ترتیب می توان به طور مستقیم جنس صدا را تغییر داد. همان لحظه که می نوازم می توانم با یک حرکت دست پلی فونی جدیدی خلق کنم و عملا در لحظه٬ نوای تولید شده را تغییر و قطعه جدیدی از آن بسازم.»
در واقع٬ پیانیست می تواند با نواها و قطعاتی که پیشتر ساخته و ضبط شده اند تعامل و بازی کند. اما موسیقی که با دست او تولید می شود تنها بازتولید آنچه او می نوازد نیست بلکه توسط نرم افزاری ویژه و با توجه به احساسات درونی تولید شده در مغز او غنی و تکمیل می شود.
این نرم افزار فعالیت های مغزی پیانیست را که توسط سنسورهای ویژه ضبط شده٬ تحلیل می کند و سرعت و لحن و زیر و بم صدای قطعه نواخته شده را با توجه به آن فعالیت ها تغییر می دهد.
ریکاردو سانتوبونی می گوید: «این سنسورها هر نوع فعالیت مغزی را ضبط می کنند و از این طریق میزان تمرکز٬ آرامش یا برعکس خستگی نوازنده قابل تشخیص است. اینجا می توانید فعالیت های عصبی فرانچیسکو پروده را ببینید که رایانه ضبط کرده است. اینجا بخشی از تولیدات موسیقیایی دیده می شود که رایانه با توجه به حال و هوا و احساسات پیانیست ضبط کرده و تغییر داده است.»
اکنون پژوهشگران می خواهند یک قدم پیشتر بروند و نرم افزاری بسازند که نه تنها تغییراتی در صوت ضبط شده ایجاد کند بلکه قادر باشد واکنش اعصاب مغز را به هر آلت موسیقی تشخیص دهد و همچنین فاصله بین دو گره و درازی صوت و طنین آن را مشخص و ضبط کند و عملا ملودی جدید تولید کند.
البته این مهم بدون حضور خالق حقیقی اثر ممکن نیست. ریکاردو سانتوبونی توضیح می دهد: «پروژه ای بلند پروازانه است که با توجه به امکانات اخیر غیرممکن هم به نظر نمی رسد و بی تردید نحوه نگارش موسیقی را دگرگون خواهد کرد، به ویژه نحوه استفاده از آلت موسیقی را تغییر خواهد داد و عملا موسیقی بدون واسطه خلق خواهد شد.»
به باور پژوهشگران این تحقیقات بی تردید پایه گذار زبان موسیقیایی نوینی خواهد بود.
