BELAJAR ANALISIS DAN BAHASA PEMROGRAMAN

Crawling Twitter Hashtag Using Python

Twiter merupakan salah satu media social yang sampai saat ini penggunakanya sangat banyak yaitu sekitar 328 juta menurut beritasatu.com pada 2017. Sementara menurut website tersebut Indonesia merupakan negara yang cukup cerewet wkwkw Hal tersebut dapat dilihat dari jumlah tweet yang dihasilkan sepanjang 2016 yang mencapai 4,1 miliar tweet.
Disini kita akan mencoba melakukan Crawling data dari twitter, salah satu yang bisa dilakukan pada data twiter yaitu melakukan hashtag analysis. Pada tutorial selanjutnya nanti akan kita coba untuk mengolah data twitter dalam berbagai analysis. Disini kita akan mencoba melakukan crawling hashtag #ICA5. Sebelum itu kita akan membuat API twitter, silahkan kunjungi postingan sebelumnya Cara Mudah Mendapatkan API Twitter. Kemudian untuk full codenya bisa kunjungi GITHUB saya. 
  • Langkah pertama yaitu buka jupyter notebook anda dan panggil library berikut.

Tweepy disini akan digunakan nantinya untuk proses authentication API twitter dan untuk melakukan crawling twitter. Untuk menginstall tweepy cukup buka cmd atau anaconda prom kemudian install menggunakan perintah pip install tweepy. Sementara csv untuk membuat csv file.
  • Langkah selanjutnya yaitu masukkan consumer_key, consumer_secret, Access_token dan access_token_secret yang didapatkan pada saat malakukan pembuatan API twitter.
  • Melakukan prosess authentication API twitter
  • Langkah selanjutnya yaitu memberi nama wadah tempat penyimpanan data crawling, kemudian membuatnya menggunakan fungsi csv.writer
  • Langkah terakhir yaitu melakukan crawling twitter dengan mencari tweet dengan Hashtag #ICA5 dengan jumlah 50. Kemudian kita bisa menentukan Bahasa yang digunakan, kita menggunakan “id”(Indonesia). Selanjutnya menentukan mulai kapan kita ingin mengambil data pada twitter, kemudian pada baris terakhir yaitu memasukkan tweet kedalam csv.
  • Setelah itu kita bisa melihat hasilnya dengan membuka file csv di direktori tempat file jupyter kita.
Pada post selanjutnya nanti kita akan mencoba membuat dashboard tentang hashtag analysis seperti gambar berikut

Mungkin untuk post kali ini cukup sekian dulu sampai jumpa di post selanjutnya.

Crawling Twitter Hashtag Using Python Crawling Twitter Hashtag Using Python Reviewed by Jimmy Pujoseno on April 28, 2018 Rating: 5

27 comments:

  1. saya pake python 3.6 kok muncul error :
    Traceback (most recent call last):
    File "/home/arief/Documents/crawling/hastag.py", line 1, in
    import tweepy
    File "/home/arief/Documents/crawling/tweepy.py", line 3, in
    from tweepy import Stream
    ImportError: cannot import name 'Stream'

    itu kenapa ya min?

    ReplyDelete
    Replies
    1. coba di install dulu tweepy nya.

      pake pip install tweepy

      Delete
  2. consumer_key = 'consumer key'
    consumer_secret = 'your consumer secret'
    access_token = 'your access token'
    access_token_secret = 'Your access token secret'

    isian itu diperoleh dari mana ya?

    ReplyDelete
    Replies
    1. Isian didapat dari Twitter mas, bisa di buka juga di postingan di atas cara untuk mendapatkan API nya

      Delete
  3. Halo, maaf...
    Kok ini skrip nya ga jalan ya?

    ReplyDelete
    Replies
    1. min maaf error begini apa ya min??
      Traceback (most recent call last):
      File "C:/python36/coba.py", line 18, in
      print (tweet.created_at, tweet.text)
      UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 32-32: Non-BMP character not supported in Tk

      Delete
    2. Python 3.6 belum bisa handle emoji dan non-BMP. Basic Multilingual Plane.
      Solusinya coba pindah ke Python 3.8 atau comment saja perintah itu, langsung output csv

      Delete
  4. halo permisi, kenapa saat saya membuka file CSVnya tidak ada isinya ya?
    mohon bantuanya, terimakasih

    ReplyDelete
  5. ini 50 tuh 50 akun atau gimana sih hhehe

    ReplyDelete
  6. halo permisi, kenapa saat saya membuka file CSVnya tidak ada isinya ya?
    mohon bantuanya, terimakasih

    ReplyDelete
  7. Maksud count=50 apa ya? Soalnya hasil di csv lebih dari itu. Lalu kalau querynya lebih dari satu gimana caranya?

    ReplyDelete
  8. kok file csv saya tidak ada hasilnya, kenapa ya ?

    ReplyDelete
  9. untuk visualisainya seperti gambar diatas, tolong dishare kodingnya Gan...

    ReplyDelete
  10. maaf min kalo errornya begini:
    Traceback (most recent call last):
    File "C:/python36/coba.py", line 18, in
    print (tweet.created_at, tweet.text)
    UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 32-32: Non-BMP character not supported in Tk

    apa masalahnya ya?

    ReplyDelete
  11. postingan selanjutnya untuk pembuatan dashboard kapan rencana di upload ka ? sukses terus

    ReplyDelete
  12. Kak mau tanya kalau mau batasin daerah pencarian itu gimana ya misalnya saya ambil tweet yg daerah bogor aja

    ReplyDelete
  13. kak ini cara ambil data hastag nya bagaimana ya, syabelum maksud bagian hastag nya

    ReplyDelete
    Replies
    1. Mungkin yang ini mas
      for tweet in tweepy.Cursor(api.search,q="#ICA5",count=50,
      Kan dibagian "#ICA5" nahh itu mas, kalau mau ganti kata kunci lain bisa diubah dari situ

      Delete
  14. Kalo untuk sekarang API twitter dibatasi maksimal 2 minggu kalo tidak salah

    ReplyDelete
  15. cara misahin yang berita dan iklan gtu, make syntax apa ya kak?
    mohon bantuannya kak..

    ReplyDelete
    Replies
    1. kalo untuk syntax belum pernah nyoba, tapi mungkin bisa coba ambil semua tweetnya dulu, setelah itu kamu buat kondisi entah fungsi atau formula dimana account - account berita/iklan di bedakan. jadi dari data yang udah kamu crawling kamu masukkan ke fungsi itu.

      Delete
  16. hi min, ini post selanjutnya tentang simple twitter hashtag analysis indonesia choice award 5.0 mana ya?

    ReplyDelete
  17. bang ini supaya teks yg didapat full teks gimana ya?, soalnya itu baru setengah aja yg tertera ketika sudah di crawling

    ReplyDelete
  18. maaf kakak mau nayak nih, script codingnya enggak ada errornya tapi tidak ada hasil crawlingan data yang masuk ke file csv, kira2 kendalanya kenpa ya mas.?

    ReplyDelete
  19. maaf kak tanya, hasil csv nya kosong gimana ya kak solusinya?

    ReplyDelete

Recent Post

Powered by Blogger.