Komputer tidak tidur. Mereka hanya menatap data sampai data tersebut mulai terlihat seperti sesuatu yang lain.
Saat kami offline, mesin kami sibuk menafsirkan ulang file lama dan mengeluarkan materi baru yang aneh. Mesin di balik ini? Google Mimpi Dalam. Ini adalah program yang mencari pola dalam gambar digital, mengubahnya, dan menyajikan hasilnya untuk kita nilai. Anda bisa menjadi konyol. Anda bisa menjadi artistik. Atau Anda bisa mengalami mimpi buruk. Itu tergantung pada apa yang Anda berikan dan parameter apa yang ditetapkan oleh karyawan Google.
Satu-satunya cara nyata untuk memahami apa yang dilakukan Deep Dream adalah dengan mencobanya. Google membuka servernya untuk umum. Tujuannya adalah untuk memahami bagaimana program mengklasifikasikan dan mengindeks gambar. Anda mengunggah foto. Beberapa detik kemudian, Anda mendapatkan rendering fantastis berdasarkan bidikan aslinya.
Outputnya adalah hibrida yang aneh. Bayangkan jika Salvador Dali, Hieronymus Bosch, dan Vincent van Gogh mengadakan pesta melukis liar yang berlangsung sepanjang malam. Itulah suasananya. Daun berubah menjadi pusaran warna-warni. Batuan menjadi persegi panjang yang berulang. Pegunungan larut menjadi garis-garis yang disorot dengan anggun.
Pemandangan yang kosong? Deep Dream mengisinya. Pagoda. Mobil. Jembatan. Bagian tubuh manusia. Ia melihat binatang. Banyak dari mereka.
Unggah potret Tom Cruise. Program ini akan mengubah lipatan dan ruang menjadi kepala anjing, ikan, dan makhluk familiar lainnya. Ini bukan hewan biasa. Itu adalah rekreasi luar biasa yang disilangkan dengan kaleidoskop bernuansa LSD. Mereka sangat menggugah. Seringkali menakutkan.
Google tidak memberikan sambutan hangat. Itu tidak memberi makan servernya dengan bahan kimia halusinogen. Ini memandu server-server tersebut untuk menganalisis gambar dan kemudian memuntahkannya sebagai representasi baru dari dunia kita.
Cara kerjanya memberi tahu kita sesuatu tentang cara kita membangun perangkat digital. Ini menunjukkan bagaimana mesin mencerna data dalam jumlah yang tak terbayangkan di dunia kita yang terobsesi dengan teknologi.
Neuron dalam Bit
Komputer adalah mesin anorganik yang dingin. Mereka tidak tidur. Mereka tentu saja tidak bermimpi. Atau begitulah yang kami pikirkan.
Deep Dream mengubah persepsi itu. Ini bukan tentang memberikan komputer alam bawah sadar. Ini tentang mengungkap kompleksitas aneh yang muncul saat Anda memasukkan data dunia manusia ke dalam kode yang semakin kusut.
Pengembang Google tidak memulai ini sebagai proyek seni. Mereka membangun Deep Dream untuk Tantangan Pengenalan Visual Skala Besar ImageNet. Kontes ini dimulai pada tahun 2010. Setiap tahun, puluhan tim berlomba untuk membuat pengklasifikasi gambar otomatis terbaik. Tujuannya? Untuk mendeteksi dan mengurutkan jutaan foto tanpa bantuan manusia. Setelah setiap kontes, yang kalah (dan pemenang) mengubah algoritma mereka. Mereka mencoba melakukannya lebih cepat. Lebih baik. Lebih tepatnya.
Inilah masalahnya dengan pencarian itu. Pengenalan gambar sebagian besar tidak ada dalam perangkat internet standar kami. Mesin pencari? Mereka menyukai kata kunci. Ketik “cat” dan Anda mendapatkan hasil teks. Ketik “cat.jpg” dan Anda mungkin mendapatkan file. Tapi meminta mesin pencari untuk memahami apa yang ada di foto? Itu sulit.
Kami menandai foto kami sendiri. “Rumah.” “Tomi.” “Matahari terbenam.” Kami melakukan ini karena komputer tidak dapat menguraikan kekacauan visual dengan andal. Kehidupan nyata itu berantakan. Ini bukan vektor bersih. Itu kebisingan. Dan hingga saat ini, mesin memperlakukan kebisingan tersebut sebagai data sampah.
Deep Dream adalah upaya untuk memperbaiki kebutaan itu.
Bagaimana Mimpi Dalam Bekerja
Saus rahasianya? Sebuah jaringan saraf tiruan (JST).
Ini bukan hanya kode. Ini adalah sistem yang meniru otak manusia. Pikirkan tentang hal ini. Kami memiliki lebih dari 100 miliar neuron. Mereka memicu impuls. Mereka memproses masukan sensorik. Mereka membantu kita mengenali wajah di ruangan yang penuh sesak.
Deep Dream meniru ini. Ia menggunakan neuron buatan untuk memfilter data. Ini menjalankan data itu melalui lapisan. Dan lapisan. Dan lapisan. Lagi dan lagi.
Arsitektur Impian
Untuk Deep Dream, jaringan biasanya memiliki antara 10 dan 30 lapisan neuron buatan ini. Banyak sekali langkah pemrosesan untuk satu gambar.
Sistem tidak hanya “melihat” gambar. Itu menghancurkannya. Ini mencari pola. Tepian. kurva. Tekstur. Ini menyempurnakan interpretasinya di setiap lapisan. Hasil akhir berupa gambar. Tapi bukan yang asli.
Hasilnya adalah halusinasi.
Anda memberi makan di foto taman. Komputer melihat pepohonan. Ia melihat rumput. Namun karena jaringan saraf disetel secara berlebihan untuk menemukan apa pun yang tampak seperti objek yang dikenal, jaringan saraf mulai memperkuat fitur.
Rumput menjadi bulu. Cabang-cabang pohon menjadi kaki. Langit menjadi mata raksasa.
Mengapa Penting untuk Pencarian Visual
Ini bukan sekedar screensaver trippy. Ini menyoroti perubahan dalam cara kita memproses informasi.
Selama bertahun-tahun, kami mengandalkan metadata. Kami memberi label pada kehidupan digital kami. Namun Deep Dream menunjukkan bahwa mesin dapat belajar menafsirkan data visual tanpa label tersebut.
“Deep Dream menunjukkan kepada kita bahwa jika Anda membiarkan mesin melihat cukup teliti, mesin akan menemukan pola yang sebenarnya tidak ada—atau lebih tepatnya, mesin akan menemukan pola yang kita tidak lihat.”
Komputer tidak sedang bermimpi dalam pengertian manusia. Ini mengoptimalkan. Ini mendorong piksel menuju apa yang dianggapnya miliknya. Dan dengan melakukan hal tersebut, ia mengungkapkan kesenjangan dalam pemahamannya sendiri.
Jika sebuah mesin dapat mengubah sepeda menjadi makhluk yang terbuat dari sepeda,
Jaringan saraf bukanlah cermin ajaib yang hanya memantulkan kembali data kepada Anda. Mereka tidak secara otomatis mulai mengidentifikasi pola begitu saja. Mereka membutuhkan pelatihan. Anda harus memberi mereka kumpulan data untuk digunakan sebagai titik referensi. Tanpa beban berat tersebut, mereka hanya akan menyaring informasi secara membabi buta, dan tidak dapat memahaminya.
Menurut blog resmi Google, proses pelatihan mengandalkan pengulangan dan analisis. Katakanlah Anda ingin melatih Jaringan Syaraf Tiruan (JST) untuk mengidentifikasi sepeda. Anda tidak hanya menyebutnya “sepeda”. Anda menunjukkan jutaan gambar sepeda. Anda juga menentukan, dalam kode komputer, seperti apa bentuk sepeda sebenarnya. Dua roda. Sebuah kursi. Setang.
Kemudian peneliti melepaskan jaringan tersebut untuk melihat apa yang ditemukannya. Itu akan membuat kesalahan. Program ini mungkin menampilkan serangkaian gambar yang mencakup sepeda motor dan moped. Ketika itu terjadi, pemrogram mengubah kodenya. Mereka menjelaskan kepada komputer bahwa sepeda tidak memiliki mesin atau sistem pembuangan. Mereka menjalankan program itu lagi. Dan lagi. Mereka menyempurnakan perangkat lunak hingga hasilnya memuaskan.
“Tim Deep Dream menyadari bahwa setelah jaringan dapat mengidentifikasi objek tertentu, jaringan juga dapat membuat ulang objek tersebut sendiri.”
Tim Deep Dream memperhatikan sesuatu yang menarik. Setelah jaringan dapat mengidentifikasi objek, jaringan dapat mereproduksi objek tersebut tanpa input lebih lanjut. Jaringan yang mengetahui sepeda yang terlihat dapat menghasilkan gambar sepeda dari awal. Idenya adalah bahwa jaringan menghasilkan citra baru yang kreatif hanya karena jaringan tersebut memiliki kemampuan untuk mengklasifikasikan dan mengurutkan gambar.
Kedengarannya mengesankan sampai Anda melihat hasilnya. Bahkan setelah menyaring jutaan gambar sepeda, komputer membuat kesalahan kritis saat membuat gambarnya sendiri. Sepeda yang dihasilkan mungkin menampilkan sebagian tangan manusia di setang. Atau kaki di pedal. Hal ini terjadi karena banyak sekali gambar pelatihan yang menyertakan orang. Komputer pada akhirnya tidak dapat membedakan di mana bagian-bagian sepeda berakhir dan bagian-bagian manusia dimulai.
Kesalahan seperti ini terjadi karena berbagai alasan. Insinyur perangkat lunak tidak sepenuhnya memahami setiap aspek jaringan saraf yang mereka bangun. Namun mengetahui cara kerjanya membantu Anda memahami bagaimana kelemahan ini terjadi.
Arsitektur Inceptionisme
Neuron buatan dalam jaringan beroperasi dalam tumpukan. Deep Dream dapat menggunakan sedikitnya 10 lapisan atau sebanyak 30 lapisan. Setiap lapisan menangkap berbagai detail gambar. Lapisan awal mendeteksi dasar-dasar seperti batas dan tepi. Lapisan lain mungkin mengidentifikasi warna dan orientasi tertentu.
Lapisan lain mencari bentuk tertentu yang menyerupai benda seperti kursi atau bola lampu. Lapisan terakhir hanya bereaksi terhadap objek yang lebih canggih seperti mobil, dedaunan, atau bangunan.
Pengembang Google menyebut proses ini sebagai inceptionism. Ini mengacu pada arsitektur jaringan saraf khusus ini. Mereka bahkan memasang galeri publik untuk menunjukkan contoh karya Deep Dream. Ini sekilas tentang cara mesin melihat.
Setelah jaringan menunjukkan dengan tepat berbagai aspek suatu gambar, banyak hal dapat terjadi. Dengan Deep Dream, Google memutuskan untuk memberitahu jaringan tersebut untuk membuat gambar baru. Itu tidak hanya menganalisis. Itu menciptakan.
Kegelapan di Tepi
Insinyur Google tidak membiarkan Deep Dream memilih bagian mana dari gambar yang akan diidentifikasi. Mereka pada dasarnya menyuruh komputer untuk mengambil aspek-aspek gambar tersebut dan menekankannya.
Jika Deep Dream melihat bentuk anjing pada pola kain di sofa Anda, hal itu menonjolkan detail anjing tersebut.
Setiap lapisan menambah lebih banyak tampilan anjing. Bulu. Mata. Hidung. Apa yang dulunya paisley tidak berbahaya di sofa Anda menjadi sosok anjing lengkap dengan gigi dan mata.
Deep Dream memperbesar sedikit pada setiap iterasi pembuatannya. Ini semakin menambah kompleksitas pada gambar. Pikirkan anjing di dalam anjing di dalam anjing.
Putaran umpan balik dimulai saat Deep Dream menafsirkan secara berlebihan dan terlalu menekankan setiap detail gambar. Langit penuh awan berubah dari pemandangan indah menjadi pemandangan yang dipenuhi belalang luar angkasa, bentuk psikedelik, dan mobil berwarna pelangi. Dan anjing.
Ada alasan mengapa anjing dalam hasil Deep Dream berlimpah. Saat pengembang memilih database untuk melatih jaringan saraf ini, mereka memilih database yang mencakup 120 subkelas anjing, semuanya diklasifikasikan secara ahli. Jadi ketika Deep Dream pergi mencari detailnya, kemungkinan besar ia akan melihat wajah dan cakar anak anjing di mana pun ia mencari.
Deep Dream bahkan tidak memerlukan gambar nyata untuk membuat gambar. Jika Anda memberinya gambar putih kosong atau gambar statis, ia akan tetap “melihat” bagian gambar, menggunakannya sebagai blok penyusun untuk gambar yang semakin aneh.
Ini adalah upaya program untuk mengungkap makna dan bentuk dari data yang tidak berbentuk. Hal ini sesuai dengan ide di balik keseluruhan proyek – mencoba menemukan cara yang lebih baik untuk mengidentifikasi dan mengkontekstualisasikan konten gambar yang tersebar di komputer di seluruh dunia.
Jadi bisakah komputer benar-benar bermimpi? Apakah mereka menjadi terlalu pintar demi kebaikan mereka sendiri? Atau apakah Deep Dream hanyalah sebuah cara khayalan bagi kita untuk membayangkan cara teknologi kita memproses data?
Sulit untuk mengetahui secara pasti apa yang mengendalikan keluaran Deep Dream. Tidak ada yang secara khusus membimbing perangkat lunak untuk menyelesaikan tugas yang telah diprogram sebelumnya. Dibutuhkan beberapa instruksi yang agak samar-samar (temukan detail dan tonjolkan, berulang-ulang) dan selesaikan pekerjaan tanpa bimbingan manusia yang jelas.
Gambar yang dihasilkan merupakan representasi dari karya tersebut. Mungkin representasi tersebut adalah karya seni yang diciptakan oleh mesin. Mungkin itu adalah perwujudan mimpi digital, yang lahir dari silikon dan sirkuit. Dan mungkin ini adalah awal dari sejenis kecerdasan buatan yang akan membuat komputer kita tidak terlalu bergantung pada manusia.
Anda mungkin takut akan munculnya komputer hidup yang menguasai dunia. Namun untuk saat ini, proyek semacam ini memberikan manfaat langsung bagi siapa saja yang menggunakan Web. Hanya dalam kurun waktu beberapa tahun, pengenalan gambar telah meningkat secara dramatis, membantu orang dengan lebih cepat menyaring gambar dan grafik untuk menemukan informasi yang mereka perlukan. Dengan laju kemajuan saat ini, Anda dapat mengharapkan lompatan besar dalam pengenalan gambar, sebagian berkat komputer impian Google.
