Twiter merupakan salah satu media social yang sampai saat ini penggunakanya sangat banyak yaitu sekitar 328 juta menurut beritasatu.com pada 2017. Sementara menurut website tersebut Indonesia merupakan negara yang cukup cerewet wkwkw Hal tersebut dapat dilihat dari jumlah tweet yang dihasilkan sepanjang 2016 yang mencapai 4,1 miliar tweet.
Disini kita akan mencoba melakukan Crawling data dari twitter, salah satu yang bisa dilakukan pada data twiter yaitu melakukan hashtag analysis. Pada tutorial selanjutnya nanti akan kita coba untuk mengolah data twitter dalam berbagai analysis. Disini kita akan mencoba melakukan crawling hashtag #ICA5. Sebelum itu kita akan membuat API twitter, silahkan kunjungi postingan sebelumnya Cara Mudah Mendapatkan API Twitter. Kemudian untuk full codenya bisa kunjungi GITHUB saya.
- Langkah pertama yaitu buka jupyter notebook anda dan panggil library berikut.
Tweepy disini akan digunakan nantinya untuk proses authentication API twitter dan untuk melakukan crawling twitter. Untuk menginstall tweepy cukup buka cmd atau anaconda prom kemudian install menggunakan perintah pip install tweepy. Sementara csv untuk membuat csv file.
- Langkah selanjutnya yaitu masukkan consumer_key, consumer_secret, Access_token dan access_token_secret yang didapatkan pada saat malakukan pembuatan API twitter.
- Melakukan prosess authentication API twitter
- Langkah selanjutnya yaitu memberi nama wadah tempat penyimpanan data crawling, kemudian membuatnya menggunakan fungsi csv.writer
- Langkah terakhir yaitu melakukan crawling twitter dengan mencari tweet dengan Hashtag #ICA5 dengan jumlah 50. Kemudian kita bisa menentukan Bahasa yang digunakan, kita menggunakan “id”(Indonesia). Selanjutnya menentukan mulai kapan kita ingin mengambil data pada twitter, kemudian pada baris terakhir yaitu memasukkan tweet kedalam csv.
- Setelah itu kita bisa melihat hasilnya dengan membuka file csv di direktori tempat file jupyter kita.
Pada post selanjutnya nanti kita akan mencoba membuat dashboard tentang hashtag analysis seperti gambar berikut
Mungkin untuk post kali ini cukup sekian dulu sampai jumpa di post selanjutnya.
Crawling Twitter Hashtag Using Python
Reviewed by Jimmy Pujoseno
on
April 28, 2018
Rating:
Reviewed by Jimmy Pujoseno
on
April 28, 2018
Rating:
saya pake python 3.6 kok muncul error :
ReplyDeleteTraceback (most recent call last):
File "/home/arief/Documents/crawling/hastag.py", line 1, in
import tweepy
File "/home/arief/Documents/crawling/tweepy.py", line 3, in
from tweepy import Stream
ImportError: cannot import name 'Stream'
itu kenapa ya min?
coba di install dulu tweepy nya.
Deletepake pip install tweepy
consumer_key = 'consumer key'
ReplyDeleteconsumer_secret = 'your consumer secret'
access_token = 'your access token'
access_token_secret = 'Your access token secret'
isian itu diperoleh dari mana ya?
Isian didapat dari Twitter mas, bisa di buka juga di postingan di atas cara untuk mendapatkan API nya
DeleteHalo, maaf...
ReplyDeleteKok ini skrip nya ga jalan ya?
Ga jalan seperti apa ya mba?
Deletemin maaf error begini apa ya min??
DeleteTraceback (most recent call last):
File "C:/python36/coba.py", line 18, in
print (tweet.created_at, tweet.text)
UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 32-32: Non-BMP character not supported in Tk
Python 3.6 belum bisa handle emoji dan non-BMP. Basic Multilingual Plane.
DeleteSolusinya coba pindah ke Python 3.8 atau comment saja perintah itu, langsung output csv
halo permisi, kenapa saat saya membuka file CSVnya tidak ada isinya ya?
ReplyDeletemohon bantuanya, terimakasih
run lagi aja, tpi apus dulu file csv lama
Deleteini 50 tuh 50 akun atau gimana sih hhehe
ReplyDeletehalo permisi, kenapa saat saya membuka file CSVnya tidak ada isinya ya?
ReplyDeletemohon bantuanya, terimakasih
Maksud count=50 apa ya? Soalnya hasil di csv lebih dari itu. Lalu kalau querynya lebih dari satu gimana caranya?
ReplyDeletekok file csv saya tidak ada hasilnya, kenapa ya ?
ReplyDeleteuntuk visualisainya seperti gambar diatas, tolong dishare kodingnya Gan...
ReplyDeletemaaf min kalo errornya begini:
ReplyDeleteTraceback (most recent call last):
File "C:/python36/coba.py", line 18, in
print (tweet.created_at, tweet.text)
UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 32-32: Non-BMP character not supported in Tk
apa masalahnya ya?
postingan selanjutnya untuk pembuatan dashboard kapan rencana di upload ka ? sukses terus
ReplyDeleteKak mau tanya kalau mau batasin daerah pencarian itu gimana ya misalnya saya ambil tweet yg daerah bogor aja
ReplyDeletekak ini cara ambil data hastag nya bagaimana ya, syabelum maksud bagian hastag nya
ReplyDeleteMungkin yang ini mas
Deletefor tweet in tweepy.Cursor(api.search,q="#ICA5",count=50,
Kan dibagian "#ICA5" nahh itu mas, kalau mau ganti kata kunci lain bisa diubah dari situ
Kalo untuk sekarang API twitter dibatasi maksimal 2 minggu kalo tidak salah
ReplyDeletecara misahin yang berita dan iklan gtu, make syntax apa ya kak?
ReplyDeletemohon bantuannya kak..
kalo untuk syntax belum pernah nyoba, tapi mungkin bisa coba ambil semua tweetnya dulu, setelah itu kamu buat kondisi entah fungsi atau formula dimana account - account berita/iklan di bedakan. jadi dari data yang udah kamu crawling kamu masukkan ke fungsi itu.
Deletehi min, ini post selanjutnya tentang simple twitter hashtag analysis indonesia choice award 5.0 mana ya?
ReplyDeletebang ini supaya teks yg didapat full teks gimana ya?, soalnya itu baru setengah aja yg tertera ketika sudah di crawling
ReplyDeletemaaf kakak mau nayak nih, script codingnya enggak ada errornya tapi tidak ada hasil crawlingan data yang masuk ke file csv, kira2 kendalanya kenpa ya mas.?
ReplyDeletemaaf kak tanya, hasil csv nya kosong gimana ya kak solusinya?
ReplyDelete