wildangunawan / dataset-saham-idx Goto Github PK

Halo,

Ada masalah dengan scrapper yang menyebabkan data tidak dapat diambil lagi. Permasalahannya adalah website BEI sudah memakai proxy dari Cloudflare. Hal ini menyebabkan bot belum bisa masuk untuk men-scrap data.

Sekarang saya sedang mencoba untuk mem-bypass ini dengan menggunakan library Python bernama cfscraper.

Semoga masalah ini dapat cepat tertangani.

Sepertinya saya salah memasukkan saham-saham untuk indeks LQ45. Di bawah ini adalah saham yang masuk dalam indeks LQ45 untuk periode Agustus 2020 s.d. Januari 2021.
https://investasi.kontan.co.id/news/ini-daftar-lengkap-emiten-penghuni-indeks-lq45-periode-agustus-2020-januari-2021

Untuk pergantian pada Januari 2021 sbb:
Masuk:

1. MEDC
2. TPIA

Keluar

1. SCMA
2. SRIL

Saya akan update secepat yang saya bisa untuk pergantian ini.

Melihat tanggal commit dari update yang ada, saya penasaran apakah ini menggunakan scrapper yang ada di project saya? https://github.com/aryakdaniswara/IDX-Data

Repo ini sebelumnya berisi scrapper yang terhalang captcha dan tidak bisa berlanjut (pada tahun 2021). Saya membuat scrapper dengan informasi website IDX yang bisa diakses manual (yang sebelumnya ada di repo ini), kemudian di tanggal yang sama setelah saya menghasilkan data csv mentah repo proyek saya (https://github.com/aryakdaniswara/IDX-Data), repo ini berubah menjadi dataset IDX (cek update)

Saya sudah menghubungi Mas Wildan lewat Instagram (kontak yang ditemukan). Jika memang menggunakan solusi saya, akan sangat dihargai jika memberikan kredit, saya akan lengkapi di bagian repo proyek ini juga untuk scrapper agar bisa diakses orang lain jika ingin mendapat data yang lebih komprehensif. Mungkin Mas Wildan juga bisa sharing proses untuk membersihkan datanya agar bisa lebih mudah dibaca dan diakses

Terima kasih, Mas Wildan

Hallo,

Terimakasih atas inspirasinya, ini hasil edit kode saya yang masih dijalankan. semoga bisa menjadi inspirasi untuk projek lainya!

best regards
hanif

https://drive.google.com/drive/folders/1Nqxxxuik-Iu-mx-JVSyo-4nILPnLwHg2?usp=sharing

Assalamualaikum, Selamat malam pak wildan, saya hafizh, saya seorang mahasiswa semester 7 dengan konsentrasi Database, kebetulan saya menggunakan dataset Pak Wildan untuk TA saya, nah dari dosen nya itu dia pengen Data terbaru kalo mengambil dataset ini, jadi saya mohon minta tolong Pak Wildan untuk Update Dataset Stock Market IDX ini,
Terima kasih Pak Wildan