Category Archives: Derwin Suhartono

Catatan kecil mengenai Skip-Gram Modelling

Ulasan dari paper “A Closer Look at Skip-gram Modelling” oleh David Guthrie, Ben Allison, Wei Liu, Louise Guthrie, dan Yorick Wilks (2006).
http://homepages.inf.ed.ac.uk/ballison/pdf/lrec_skipgrams.pdf

Language model yang sudah dikenal dan banyak digunakan oleh peneliti adalah n-gram.  N-gram (adjacent n-gram) merupakan kumpulan dari item sejumlah n yang disusun secara berurutan dari text atau speech. Skip-gram bisa digunakan untuk menangani data sparsity yang banyak ditemui sebagai problem besar pada penelitian natural language processing.

Skip-gram merupakan teknik yang digunakan di area speech processing, dimana n-gram yang dibentuk kemudian ditambahkan juga dengan tindakan “skip” pada token-tokennya. Sebagai contohnya, apabila hendak dibentuk trigram dari kalimat “I hit the tennis ball”, maka hasilnya akan menjadi:

  1. I hit the
  2. hit the tennis
  3. the tennis ball

Akan tetapi, ada pendapat yang mengatakan bahwa ada kombinasi 3 kata dari kalimat tersebut yang penting dari kalimat tersebut, contohnya “hit the ball”. Skip-gram memungkinkan bentuk kombinasi tersebut untuk dimodelkan.

Untuk membentuk k-skip-n-grams, ada dua nilai yang harus didefinisikan, yaitu k (jumlah kata yang di-skip) dan n (banyak kata dalam n-gram, e.g. bigram (2-gram), trigram (3-gram), dll.).

Hasil dari 4-skip-n-gram akan mencakup 4 skip, 3 skip, 3 skip, 2 skip, 1 skip, dan 0 skip (n-gram jenis trakhir ini dibentuk dari adjacent words).

Apabila kita memiliki kalimat sebagai berikut:

“Penelitian membutuhkan ketekunan yang tinggi”

Maka, n-gram dan skip-gram yang terbentuk adalah sebagai berikut:

  • Bigram: {penelitian membutuhkan, membutuhkan ketekunan, ketekunan yang, yang tinggi}
  • 2-skip-bi-gram (mencakup 1-skip-bi-gram dan 0-skip-bi-gram):

0-skip-bi-gram: {Penelitian membutuhkan, membutuhkan ketekunan, ketekunan yang, yang tinggi}, 1-skip-bi-gram: {penelitian ketekunan, membutuhkan yang, ketekunan tinggi}, 2-skip-bi-gram: {penelitian yang, membutuhkan tinggi}

Skip yang dilakukan tidak diperbolehkan untuk melewati batas dari satu kalimat.

Jumlah dari skip-gram yang terbentuk dengan diketahui jumlah n pada n-gram yang hendak dibentuk bisa dihitung. Untuk sejumlah n kata pada kalimat, rumus untuk menghitung jumlah trigram dengan jumlah skip k adalah:

(n – (k+2) ) (k+1), untuk n > k+3

Secara lebih rinci, data lengkap mengenai jumlah data hasil pemodelan n-gram dan k-skip-n-gram adalah sebagai berikut:

skip-gram

Training data yang digunakan adalah British National Corpus (BNC) sejumlah 100 juta kata dan English Gigaword sejumlah 1.7 miliar kata digunakan untuk mengujicobakan pemodelan skip-gram pada data testing yang diambil dari Gigaword Corpus (300000 kata), Eight Recent New Documents, dan Google Translation (7 artikel berita di Cina dan diterjemahkan ke dalam Bahasa Inggris).

Dari 2 kali eksperimen yang membandingkan adjacent n-gram dengan k-skip-n-gram, diperoleh hasil bahwa

  1. Banyak bigram yang terobservasi ketika menggunakan skip, dan muncul di data testing
  2. Skip-gram tidak meningkatkan coverage trigram. Hal ini disebabkan karena dokumen yang digunakan bukan korpus pada domain yang sama.

Dari sisi manfaat, skip-gram bisa mendemonstrasikan secara akurat untuk memodelkan context namun tidak condong pada efek dari trigram modelling.

Seringkali memperbesar ukuran korpus bukanlah sebuah pilihan yang baik karena resource yang terbatas. Skip-gram bisa menjadi alternative untuk peningkatan ukuran training data. Skip-gram modelling lebih efektif digunakan untuk meng-cover trigram daripada memperbesar jumlah korpus untuk training.

Kekurangan dari skip-gram modelling adalah peningkatan yang besar pada processing time.

Skip-gram modelling ini dimanfaatkan oleh Google dalam menjalankan program deep learning Word2Vec untuk membentuk word representation dalam bentuk vektor.

dari 2014 menuju 2015

Pergantian tahun selalu menjadi momen yang pas bagi setiap kita untuk mengevaluasi diri dan membuat target-target baru untuk tahun selanjutnya. Oprah Winfrey pernah berkata:

Cheers to a new year and another chance for us to get it right

Yang artinya bahwa mari bersama-sama menyambut tahun yang baru dimana tahun yang baru itu merupakan kesempatan bagi kita untuk menjalaninya dengan lebih benar.

Mungkin kebanyakan dari kita terlalu seru untuk menuliskan target (bahasa kerennya: resolusi), namun lupa untuk melihat ke belakang di tahun yang sudah berlalu dan mengevaluasinya. Padahal dengan melakukannya, kita bisa lebih mengukur seberapa sukses kita menorehkan milestone dalam satu tahun dari sekian tahun kehidupan kita nantinya. Ayo, jangan lupa kita juga mengevaluasi tahun yang sudah berlalu sebagai bahan perenungan dan juga menjadi tempat dimana kita bisa mengucap syukur atas semua yang sudah terjadi.

Pada post kali ini, saya akan sedikit menceritakan beberapa pencerahan yang saya dapatkan ketika saya mengevaluasi tahun 2014 dan mempersiapkan diri di tahun 2015. Hal ini banyak melibatkan ayat alkitab sehingga mohon maaf untuk pembaca yang tidak berkenan, namun sifat dari post kali ini hanya untuk sekedar berbagi siapa tahu ada dari pembaca yang menjadi lebih semangat setelah membaca post ini.

Akhir tahun 2014 ini, saya hanya berada di rumah yakni di Pekalongan, tanpa bepergian atau piknik. Sejak tanggal 24 Desember saya sudah di rumah untuk merayakan natal bersama keluarga keesokan harinya. Selama kurang lebih 2 minggu saya di Pekalongan, sebelum akhirnya saya kembali lagi ke Jakarta pada tanggal 4 Januari yang lalu. Momen natal memang menjadi momen keluarga yang tidak pernah terlewatkan di keluarga saya. Kami selalu datang ke gereja di ibadah natal sore.

Family

Selepas dari momen natal tersebut, keesokan harinya aktivitas berjalan seperti biasa. Orang tua kembali bekerja seperti biasa. Saya banyak menghabiskan waktu untuk mengerjakan tugas kuliah saya, menemani adik saya, dan bolak balik ke tempat orang tua saya bekerja. Euforia natal beserta lagu-lagu yang melantun setiap tahun sudah berlalu, saatnya mempersiapkan diri untuk menyambut tahun yang baru.

Unfortunately, saya terjatuh dari kendaraan pada saat saya hendak ke pasar. Ini terjadi keesokan harinya setelah perayaan hari natal. Tidak ada luka yang terlalu parah, hanya lecet di beberapa tangan dan kaki. Namun demikian, karena sempat “getting shocked” akibat terjatuh, saya sempat hampir pingsan sesaat setelah kejadian. Semuanya kembali seperti biasa setelah orang tua saya memberikan minuman hangat dan “menyiramkan” berbagai jenis minyak angin untuk menghangatkan badan saya yang pada saat itu pucat pasi serta berkeringat dingin.

Sepulang dari situ dan beberapa hari kemudian saya mulai banyak merenung di tempat tidur saya, apa yang sudah terjadi di tahun 2014, saya mencatat di gadget saya apa saja yang Tuhan ijinkan untuk terjadi sebagai pencapaian dan juga sebagai “lesson learned” untuk pribadi saya. Di saat-saat merenung itulah, saya bergumam, siapa aku ini Tuhan, sampai-sampai Tuhan mengijinkan kejadian demi kejadian yang luar biasa terjadi di tahun 2014. Saya hanya bisa terdiam dan mengucapkan syukur saya kepada Tuhan. Saya yakin dan percaya semua hal bisa terjadi karena Tuhan mengijinkannya untuk terjadi.

Beberapa hal yang menjadi pencerahan bagi saya untuk tahun 2015 adalah sebagai berikut:

    • Seperti tahun-tahun sebelumnya, saya mencari ayat emas untuk bisa dijadikan pegangan di tahun 2015 nanti. Pada saat saya membolak balik isi alkitab, scrolling website renungan di gadget saya, saya terhenti di ayat Firman Tuhan yaitu di Yesaya 55:8-9. Sejenak saya memikirkan tentang betapa niat dan detilnya saya merancang segala sesuatunya di awal tahun 2014 yang lalu, namun selalu ada saja cara Tuhan yang berbeda dan membuat saya takjub. Saya mengambil ayat ini sebagai ayat emas saya di tahun 2015. Saya yakin bahwa ayat ini bisa menjadi pegangan saya selama saya melangkah di tahun 2015.

Sebab rancangan-Ku bukanlah rancanganmu, dan jalanmu bukanlah jalan-Ku, demikianlah firman TUHAN. Seperti tingginya langit dari bumi, demikianlah tingginya jalan-Ku dari jalanmu dan rancangan-Ku dari rancanganmu. (Yesaya 55:8-9)

  • Saya melayangkan pikiran saya pada pertemuan saya dengan penatua di gereja, satu hari sebelum saya pulang ke Pekalongan. Saya kembali mengingat apa saja yang dia sampaikan. Dari semua hal yang kita bicarakan pada saat itu, saya teringat pada ayat di Pengkhotbah 9:10a meskipun waktu itu kita tidak membicarakan ayat tersebut. Ayat ini menurut saya berlaku secara general untuk semua orang, kaitannya dengan tanggung jawab, baik itu sekolah, kuliah ataupun pekerjaan.

Segala sesuatu yang dijumpai tanganmu untuk dikerjakan, kerjakanlah itu sekuat tenaga. (Pengkhotbah 9:10a)

  • Kebetulan (eh bukan kebetulan, karena sebenarnya tidak ada satu halpun yang kebetulan), pada tanggal 3 Januari saya diberikan kesempatan untuk share di acara Youth di gereja, sehingga saya juga mempersiapkan bahan yang akan saya share. Saya teringat akan satu hal yang sudah lama sekali pernah menjadi topik pembicaraan saya dengan teman saya yaitu Tuhan itu mengerjakan segala sesuatu lebih dari yang kita doakan atau kita pikirkan. Nah masalahnya, kalau kita nggak berdoa atau berpikir, Tuhan mau mengerjakan lebih dari apa? wong nggak ada yang didoakan dan dipikirkan. Sehingga pesannya adalah agar saya jangan lupa untuk berdoa serta memikirkan target atau resolusi di tahun yang baru . Ayat ini seperti mengklarifikasi ulang dari poin pertama yang saya tuliskan di atas mengenai rancangan Tuhan di atas rancangan manusia.

Bagi Dialah, yang dapat melakukan jauh lebih banyak dari pada yang kita doakan atau pikirkan, seperti yang ternyata dari kuasa yang bekerja di dalam kita. (Efesus 3:20)

  • Yang terakhir adalah baru saja kejadian kemarin. Sebelum saya pulang dari kantor, saya melihat catatan meja saya berupa kalender yang ada di meja kantor saya yang dibuat oleh Joel Osteen. Yang terbuka disitu adalah masih tanggal 7 (satu hari sebelumnya), sehingga saya membuka lembaran selanjutnya, yaitu tanggal 8. Hati saya bergetar pada saat saya membaca yang tertulis disitu. Karena yang tercantum disitu seperti mengulang poin pertama dan ketiga yang saya tulis di atas tapi dengan kalimat yang berbeda.

IMG_7404

Saya merangkum kesemuanya itu dalam beberapa hal yang perlu untuk menjadi catatan khusus dalam perjalanan saya di tahun 2015:

  1. Set resolusi dengan baik, tapi jangan lupa untuk mendoakan serta memikirkannya secara terus menerus
  2. Jangan kuatir, semua akan dikabulkan lebih banyak dari yang sudah didoakan serta dipikirkan
  3. Tidak ada yang mustahil, semuanya bisa diperjuangkan
  4. Kerjakan semua hal dengan sekuat tenaga, jangan dengan setengah tenaga

Semoga tulisan kecil ini bisa bermanfaat buat teman-teman yang membaca. Mari dengan adanya momen pergantian tahun, kita jalani dengan lebih antusias! Selamat beraktivitas dan teruslah berjuang sekuat tenaga.

Tuhan beserta dengan teman-teman sekalian :)

Behind the Scene to be a Lecturer

Beberapa hari yang lalu muncul sebuah pemikiran, mengapa saya menjadi seorang dosen. Oleh karena itu, saya kembali membuka beberapa note yang pernah saya tuliskan beberapa tahun yang lalu. Note tersebut saya temukan di blog saya yang lama.

Berawal dari mimpi saya ketika di bangku kuliah, tepatnya di semester 3 atau 4. Mungkin tidak banyak orang yang tahu akan hal ini. Saya mempunyai tekad tersendiri untuk melanjutkan studi saya hingga jenjang S2. Well, sepertinya hal itu terlintas begitu saja di kepala saya. Namun, tekad itu tidak kunjung hilang, terus terngiang-ngiang di dalam hati. Sehingga yang ada di pikiran saya adalah, setelah selesai jenjang S1, saya harus melanjutkan studiku ke S2. Masih teringat bahwa dulu saya berkeinginan untuk melanjutkan di luar negeri.

Singkat cerita, setelah menyelesaikan studi sarjana, saya bekerja. Waktu itu saya mencatat di dalam “My Dream Book” bahwa setahun setelah bekerja, saya harus mengambil S2. Dan ketika bekerja inilah, tiba-tiba muncul di pikiran saya keinginan untuk menjadi seorang dosen. Motivasi dasarnya adalah supaya saya bisa banyak terlibat di tengah-tengah anak-anak muda dan membantu mereka mempersiapkan diri untuk menghadapi kehidupan setelah perkuliahan dengan baik dan benar. Hal ini terus mengusik kehidupan saya selama saya bekerja di kantor. Kemudian, saya membicarakan hal mengenai studi lanjut ke jenjang S2 ke orang tua, dan mereka menjawab dengan ringan, “Ya udah kalo memang win mau S2, pakai uang sendiri ya”. Jawaban yang cukup membuat shocked, namun memang harus dijalani.

Saya melakukan pencarian beasiswa, khususnya untuk ke Singapore dan Australia, karena saya menimbang-nimbang perihal jarak yang tidak terlalu jauh. Sebenarnya bukan susah untuk mencari beasiswa tersebut, tetapi saya sendiri yang agak ogah-ogahan untuk tinggal di luar negeri. Belum ada kesediaan secara penuh untuk mau tinggal di luar negeri. Akhirnya setelah berkali-kali mengikuti pameran pendidikan, saya mulai survey ke beberapa universitas di Jakarta yang memberikan program studi Magister untuk program Teknik Informatika. Ada 2 tempat dengan nama Universitas yang cukup besar di Jakarta, UI (yang sudah cukup lama memiliki program ini) dan BINUS (yang notabene masi merupakan program baru). Setelah menimbang masalah tempat, jarak, waktu, biaya, dan lain-lain, saya memutuskan untuk mengambil S2 di BINUS yang adalah almamater  S1.

Orang tua dan keluarga cukup dikejutkan dengan keputusan saya untuk resign dari kantor karena melanjutkan studi. Penghasilan saya peroleh dari mengajar anak-anak les secara private ke rumah mereka. Hal ini sudah saya jalani sejak semester 2. Pengharapannya adalah supaya hasil studi S2-ku bisa maksimal. Saya menuliskan dan terus membawa ke dalam doa setiap hal yang saya inginkan untuk bisa dicapai, dan terbukti bahwa TUHAN menyertai langkah-langkah saya. Banyak fakta unik terjadi ketika saya menjalani semua hal yang saya jelaskan di atas, diantaranya adalah:

1. LAPTOP
Saya sempat berpikir bahwa saya membutuhkan laptop untuk perkuliahan saya. Hal itu hanya saya tuangkan dalam bentuk gumaman yang mana hanya TUHAN yang mengetahuinya. Namun hal itu tidak saya doakan secara serius, saya berpikir keras untuk biaya hidup bulanan saja selama studi S2.
God’s Miraculous Way:
Tepat pada hari Valentine yang bersamaan dengan hari Imlek, 14 Februari 2010, saya bertamu ke rumah paman, semua keluarga lainnya sudah pulang ke rumah untuk merayakan Imlek.  Tak lama kemudian, paman saya berkata, “Win, kamu pake laptop nggak sekarang?” Saya menjawab, “Cuma pake PC, belum pake laptop”. “Nih paman ada laptop nganggur, kamu bawa aja”. “Ambil aja sana di belakang, dilhat dulu barangnya masih bagus atau nggak, paman cuma pake 1 atau 2 minggu, terus gak pernah di pake lagi”. Saat saya melihat laptop itu, ternyata masi bagus dan tidak perlu ada yang diperbaiki. Thanks God for the favor in giving me the laptop.
http://derwinsuhartono.blog.binusian.org/2010/02/16/14-februari-2010-i-am-his-valentine/

2. STUDI S2
Sudah menjadi keputusan bahwa 1 tahun setelah bekerja, saya akan mengambil S2. Kontrak kerja di perusahaan berakhir pada bulan Mei. Yang artinya 2 bulan kemudian perkuliahan S2 angkatan yang baru di mulai. Saya sudah mendaftar sejak bulan Mei awal.
God’s Miraculous Way:
Beberapa hari setelah saya mendaftar di S2 MTI BINUS, saya mendapat info melalui sms dari BINUS bahwa sekitar 160 mahasiswa terpilih lulusan dari S1 jurusan TI angkatan 2005 dan 2006 mendapat kesempatan untuk mengambil kuliah S2 MTI dengan keringanan biaya kuliah sebesar 10juta, dan lama kuliah di potong 4 bulan sehingga hanya 1 tahun kuliah untuk mendapatkan gelar MTI. Hal ini berarti ada keringanan biaya dan waktu yang diberikan kepada saya. Dan sampai saat ini, belum pernah ada lagi program Fasttrack tersebut. Angkatan saya adalah yang pertama dan mungkin yang terakhir untuk program MTI Fasttrack. It is special, isn’t it?

3. PENGHASILAN
Saya sudah mengambil ancang-ancang persiapan menambal penghasilanku karena sudah tidak bekerja di kantor lagi. Saya menyebarkan brosur dan info untuk les private. Dengan bantuan dari teman-teman terdekat, saya memperoleh beberapa anak les. Namun beberapa diantaranya saya berikan ke beberapa teman yang memang juga berkeinginan untuk mengambil kerja sampingan sebagai guru les.
God’s Miraculous Way:
Seiring berjalannya waktu, sepupu dari anak yang saya sedang ajar ini ternyata sedang mencari guru les. Singkat cerita, mama dari sepupu anak ini meminta saya untuk mengajar dengan skema homeschooling, yaitu belajar sendiri di rumah, tanpa ke sekolah. Dia meminta saya untuk mengajar di pagi hari, setiap hari, Senin-Jumat. Dan hal yang mengejutkannya, penghasilan saya dari 2 anak les ini saja sudah melebihi gaji terakhir saya di kantor. Thanks God.

4. HARI TERAKHIR DI KANTOR
Beberapa hari sebelum saya resign dari kantor, saya mulai gelisah mengenai penghasilan. Untuk bisa membayar biaya studi S2, saya belum mendapat penghasilan yang mana harus 2 kali lipat dari gaji terakhir. Di tengah-tengah kekuatiran saya yang mulai berlebihan, ada 1 orang sahabat yang berkata “Udalah win, kamu nih gak percaya banget, pasti disediain kok ama Tuhan, ngapain kuatir berlebihan! Ga percaya ama Tuhanmu?”. Itu cukup menghentak hati saya, apakah benar saya meragukan Tuhan saya?
God’s Miraculous Way:
Bertepatan dengan hari H aku resign, ada 2 temen kantor yang memberikan kepada saya 2 anak untuk les private. Saya terdiam dan memang benar, pertolongan TUHAN selalu tepat waktu.
Cerita tidak hanya berakhir disitu, siangnya ada telepon dari Astra International untuk  interview. Padahal sebenarnya saya tidak melamar kesana. Interview dilakukan tepat H+1 setelah saya resign. What a great timing! Setelah di telusuri darimana Astra bisa mendapatkan CV saya, ternyata ada sedikit kesalahan mekanisme yang membuat saya dipanggil oleh Astra.
Walaupun hasil akhirnya adalah diterima, saya tetap menolak tawaran yang ada. Dengan perkuliahan S2 dan semua hal yang sudah saya persiapkan untuk kuliah, tentu saya tidak akan bisa lembur, dan pasti tidak bisa memberikan totalitas.

5. KELUARGA
Setelah saya mendapatkan nomor 3 dan 4, saya menelepon keluarga di rumah untuk memberikan kabar.
God’s Miraculous Way:
Dan tak disangka, usaha Papa sedang ramai-ramainya. Saya sangat senang untuk mendengar kabar itu. Dan juga, dari kerjaan adik saya sedang dalam proses menuai dan cukup banyak.

6. DOSEN

Untuk yang ini tidak bisa diceritakan secara detail. Intinya adalah, pada Semester Ganjil setelah liburan 2 bulan ini, saya sudah diberikan jadwal mengajar sebagai dosen di BINUS. Padahal, sebelumnya saya sudah hampir tertunda untuk bisa jadi dosen.
God’s Miraculous Way:
Ternyata tahun ini sudah bisa langsung masuk menjadi salah satu jajaran dosen di BiNus. Ini hal sudah saya mimpikan sejak dulu, menjadi dosen, bisa berbagi hidup dan ilmu kepada generasi muda saat ini. Dan setelah menjalaninya, memang ada pula beberapa benefit ketika masuk sebagai dosen di BINUS.

Tidak ada sedikitpun maksud untuk menyombongkan apa yang saya capai. Saya hanya ingin berbagi cerita bahwa penyertaan Yang Maha Kuasa selalu ada. Bagian kita adalah melakukan yang terbaik.

Have a nice day! 😀

Reposted and revised from: http://derwinsuhartono.blog.binusian.org/2010/06/12/hes-already-provided/