პროგრამისტი ავარჯიშებს ხელოვნურ ინტელექტს ტექსტიდან სახეების გამოსახატავად

პროგრამისტს ანიმეშ კარნევარს სურდა სცოდნოდა, როგორ გამოჩნდებოდნენ წიგნებში აღწერილი პერსონაჟები სინამდვილეში, ამიტომ მან მიმართა ხელოვნურ ინტელექტს, რათა დაენახა, შეეძლო თუ არა ამ გამოგონილი ადამიანების სწორად გადმოცემა. სახელწოდებით T2F, კვლევითი პროექტი იყენებს გენერაციულ საპირისპირო ქსელს (GAN) ტექსტის კოდირებისთვის და სახის სურათების სინთეზირებისთვის.

მარტივად რომ ვთქვათ, GAN შედგება ორი ნერვული ქსელი, რომლებიც კამათობენ ერთმანეთთან საუკეთესო შედეგების მისაღებად. მაგალითად, ქსელის ნომერი 1 ამოცანაა მოატყუოს მე-2 ქსელი და სჯეროდეს, რომ გადაღებული სურათი ნამდვილი ფოტოა, ხოლო ქსელი No2 მიზნად ისახავს დაამტკიცოს, რომ სავარაუდო ფოტო მხოლოდ რენდერია. ეს უკან და უკან პროცესი სრულყოფილად არეგულირებს რენდერის პროცესს, სანამ ქსელი No2 საბოლოოდ არ მოიტყუება.

კარნევარმა პროექტი დაიწყო ა მონაცემთა ნაკრები სახელწოდებით Face2Text, რომელიც მოწოდებულია კოპენჰაგენის უნივერსიტეტის მკვლევარებმა, რომელიც შეიცავს 400 შემთხვევითი სურათის ბუნებრივ ენაზე აღწერილობას.

”აღწერები გაწმენდილია იმისათვის, რომ ამოიღონ უხალისო და შეუსაბამო წარწერები, რომლებიც მოცემულია სურათებში მოცემული ადამიანებისთვის,” წერს ის. "ზოგიერთი აღწერილობა არა მხოლოდ აღწერს სახის მახასიათებლებს, არამედ იძლევა რამდენიმე ნაგულისხმევ ინფორმაციას სურათებიდან."

მიუხედავად იმისა, რომ კარნევარის T2F პროექტის შედეგად მიღებული შედეგები არ არის ზუსტად ფოტორეალისტური, ეს დასაწყისია. ზემოთ ჩაშენებული ვიდეო გვიჩვენებს დროში ამოწურულ ხედს, თუ როგორ გაწვრთნილი იყო GAN ილუსტრაციების გადასაცემად ტექსტიდან, დაწყებული ფერადი მყარი ბლოკებით და დამთავრებული უხეში, მაგრამ იდენტიფიცირებადი პიქსილაციით რენდერები.

„მე აღმოვაჩინე, რომ გენერირებულ ნიმუშებს უფრო მაღალი გარჩევადობით (32 x 32 და 64 x 64) უფრო მეტი ფონური ხმაური აქვს, ვიდრე დაბალი გარჩევადობით წარმოქმნილ ნიმუშებს“, განმარტავს კარნევარი. ”მე ამას აღვიქვამ მონაცემთა არასაკმარისი რაოდენობის გამო (მხოლოდ 400 სურათი).”

ტექნიკა, რომელიც გამოიყენება მოწინააღმდეგე ქსელების მოსამზადებლად, ეწოდება "GAN-ების პროგრესული ზრდა”, რომელიც აუმჯობესებს ხარისხს და სტაბილურობას დროთა განმავლობაში. როგორც ვიდეოში ჩანს, გამოსახულების გენერატორი იწყება უკიდურესად დაბალი გარჩევადობით. მოდელში ნელ-ნელა შემოდის ახალი ფენები, რაც დროთა განმავლობაში ტრენინგის პროგრესირებასთან ერთად დეტალებს ზრდის.

”GAN-ების პროგრესული ზრდა არის ფენომენალური ტექნიკა GAN-ების უფრო სწრაფად და სტაბილურად ვარჯიშისთვის,” დასძენს ის. "ეს შეიძლება იყოს შერწყმული სხვა ნაშრომების სხვადასხვა ახალ წვლილებთან."

მოცემულ მაგალითში ტექსტის აღწერილობა ასახავს 20-იანი წლების ბოლოს ქალს, რომელსაც გრძელი ყავისფერი თმები აქვს ცალ მხარეს გადაცურებული, სახის ნაზი ნაკვთები და მაკიაჟის გარეშე. ის არის "შემთხვევითი" და "მოდუნებული". კიდევ ერთი აღწერილობა ასახავს 40 წელს გადაცილებულ მამაკაცს წაგრძელებული სახით, გამოკვეთილი ცხვირით, ყავისფერი თვალებით, თმის მოცილებითა და მოკლე ულვაშებით. მიუხედავად იმისა, რომ საბოლოო შედეგები უკიდურესად პიქსელირებულია, საბოლოო რენდერები აჩვენებს დიდ პროგრესს, თუ როგორ A.I. შეუძლია სახეების გენერირება ნულიდან.

კარნევარი ამბობს, რომ გეგმავს პროექტის მასშტაბირებას დამატებითი მონაცემთა ნაკრების ინტეგრირებისთვის, როგორიცაა Flicker8K და Coco წარწერები. საბოლოოდ, T2F შეიძლება გამოყენებულ იქნას სამართალდამცავ სფეროში მსხვერპლთა და/ან კრიმინალების იდენტიფიცირებისთვის ტექსტის აღწერილობების საფუძველზე, სხვა აპლიკაციებთან ერთად. ის ღიაა პროექტში წინადადებებისა და წვლილისთვის.

კოდზე წვდომისთვის და წვლილისთვის, გაემგზავრეთ კარნევარის საცავში Github-ზე აქ.

რედაქტორების რეკომენდაციები

• მეცნიერები იყენებენ A.I. ადამიანის ხელოვნური გენეტიკური კოდის შესაქმნელად
• გადახედეთ A.I.-ს აღზევებას: რამდენად შორს წავიდა ხელოვნური ინტელექტი 2010 წლის შემდეგ?
• Intel და Facebook გაერთიანდნენ, რათა Cooper Lake-ს ხელოვნური ინტელექტის გაძლიერება მისცეს

განაახლეთ თქვენი ცხოვრების წესიDigital Trends ეხმარება მკითხველს თვალყური ადევნონ ტექნოლოგიების სწრაფ სამყაროს ყველა უახლესი სიახლეებით, სახალისო პროდუქტების მიმოხილვებით, გამჭრიახი რედაქციებითა და უნიკალური თვალით.