-
.
Buongiorno ragazzi sperando di fare cosa gradita ,inizio questo tutorial ,dove elenco alcuni dei settaggi per poter scaricare quote aggiornate da qualsiasi odd comparison .
innanzitutto andate su questa pagina https://webscraper.io/
Troverete questa schermata
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su install e installate l'estensione (spero sappiate come installare un estensione vero?)
Andate avanti se tutto è andato bene vi ritroverete su questa schermata
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Bene ora andate sul sito di comparazione quote che usate abitualmente
In questo tut,io ho scelto bet esplorer-Quindi il codice preparato potete usarlo solo qui. Ma con il tempo imparerete a usarlo ovunque.
Quindi andiamo su questo link
www.betexplorer.com/next/soccer/
La pagina ci mette circa 40 secondi per caricare il proprio database esterno
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Ora
Tasto destro del mouse
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Andate su ispeziona e cliccate su Web Scraper (che sarebbe l'estensione che abbiamo installato)
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Bene ora vi troverete questa scherm
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ORA cliccate su Import Sitemap
Copiate questo codice Json che ho creato io grazie all'estensione(con il tempo vedrete che è facile) è incollatelo nello spazio bianco adibito (evidenziato con la matit viola)
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
{"_id":"bet-esplorer-palinsesto-giornaliero","startUrl":["https://www.betexplorer.com/next/soccer/"],"selectors":[{"id":"Link-Match","parentSelectors":["_root"],"type":"SelectorLink","selector":".table-main__tt a","multiple":true,"delay":0},{"id":"Data-Ora","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__date","multiple":false,"delay":0,"regex":""},{"id":"Campionato ","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(3) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Stagione","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(4) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Match","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"span.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Element-Odd","parentSelectors":["Link-Match"],"type":"SelectorElement","selector":".sortable tbody tr","multiple":true,"delay":0},{"id":"Book","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(1)","multiple":false,"delay":0,"regex":""},{"id":"Uno ","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(5)","multiple":false,"delay":0,"regex":""},{"id":"Pari","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(6)","multiple":false,"delay":0,"regex":""},{"id":"Due","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(7)","multiple":false,"delay":0,"regex":""},{"id":"Medie","parentSelectors":["Link-Match"],"type":"SelectorGroup","selector":"#match-add-to-selection td.table-main__detail-odds:nth-of-type(n+3)","delay":0,"extractAttribute":""},{"id":"Ris-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__score","multiple":false,"delay":0,"regex":""},{"id":"Parziale-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"h2.list-details__item__partial","multiple":false,"delay":0,"regex":""}]}
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Sotto c'è scritto Rename Sitemap ;mettetici qualsiasi nome. Io lo nominato palinsesto giornaliero bet esploorer.
Ora si è creata la nostra sitemap Dovreste vedere questa shermata
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccateci sopra
L'estensione vi chiederà cosa fare ora?
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su scrape le altre cose per ora non ci interessano
Una volta cliccato su scrape vi uscirà un ultima shermata riguardante la velocità
Io metto ritardo 3000
Se mettete una velocità alta c'è il rischio che vi salti le quote ,delle partite o dei dati sensibili.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Siamo pronti Cliccate su Stat Scraping e andatevi a fare un caffe ,na sigaretta.Per 300 partite il sabato ci mette dieci minuti massimo ma non salta una partita ,un risultato, na quota eccc Nulla
Una volta scaricato tutto, l'estensione vi chiederà come e dove salvare i dati
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su XLSXe avrete il vostro file.Ci metterete un minuto a cancellare quello che non vi serve sistemare la data ,le quote ecc
Nella mia sitemap che vi ho creato ci sono le quote per ogni partita di tutti i book di quel momento e in più le relative quote medie di tutti i book inerenti alla partita esaminata.
Nella colonna dei risultati finali se la partita non è incominciata non c'è nulla altrimenti se per esempio scaricate il giorno dopo la pagina del giorno precedente(esempio ieri 03-04-2022) troverete risultati finali e parziali primo tempo finale
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
A differenza di python(che non è un estensione ma un vero linguaggio di programmazione) che per lo scraping è il migliore in assoluto questa estensione non ti salta mai un partita o una quota se la settate per bene .
Probabilmente a causa dei siti web poco restii ad vere troppa gente che scarica tanta roba in maniera veloce appesantendo il server ,parecchi linguaggi saltano dei dati mentre scaricano .
Questa estensione è fantastica. Io scarico direttamente dal sito snai, bet 365 o pinnacle ad esempio ..
Ma naturalmente se volete qualcosa di più professionale loro hanno anche il servizio api che vi scarica le quote dal sito scelto ogni tot secondi ,minuti ,ora, o giorni in maniera automatica
Alla fine cmq avere un programmatore di fiducia ,che vi dia la pappa pronta naturalmente dietro compenso ,credo che per i proff sia la scelta migliore e grazie a Dio in Italia (anche in questo forum )c'è ne sono di bravi
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Per ora penso vada bene ,è da studiare cmq
Se volete scaricare i giorni precedenti ,le aperture(che non servono a nulla secondo me),gli altri sport ecc
https://webscraper.io/how-to-videos Per imparare a creare da0 la tua sitemap
https://forum.webscraper.io/ dove chiedere se qualcosa non torna
Spero di aver fatto cosa gradita. Se ho commesso errori grammaticali chiedo scusa.
È stato un piccolo lavoraccio fatto nel più breve tempo possibile .Buon betting
Edited by elosystembetting - 4/4/2022, 18:35. -
.
La felicità è come una scorreggia, se è tua da fastidio agli altri ....
- Group
- Autorizzato a Scrivere
- Posts
- 2,064
- Status
Grazie per la disponibilità domostrata. . -
.
Bravo
Complimenti. -
.
Intanto grazie x la spiegazione, ci sono dei siti che bloccano l'Ip, hai qualche suggerimento su come ovviare? . -
.
Ciao su questa estensione non possono bloccarti perché sono estensioni che hanno l'ok di Google.
Naturalmente se scarichi ogni giorno database di tutti i campionati, tornei di tennis o Asian NbA in maniera veloce ad esempio qualche blocco potrebbero metterlo superabile cmq con una VPN
A me non è mai capitato.
Se dovete crearvi dei database fatelo con calma scaricando magari i campionati top piu le coppe degli ultimi 5 6 anni in due tre giorni ad esempio. Non in un ora.
Se scaricate con calma non darete fastidio sopratutto la notte. -
[</\nTh@nY>].
User deleted
Bella spiegazione. L'ho usata tante volte e confermo che funziona alla grande. . -
.
Grazie . -
.
Spiegazione passo passo eccezionale!!!!!!
GRAZIE. -
.
Grazie Elo 👍👍👍 . -
.
In assoluto uno dei migliori post di sempre, grazie . -
.
Grazie, penso sia molto utile per chi sa programmare. Complimenti. . -
.Buongiorno ragazzi sperando di fare cosa gradita ,inizio questo tutorial ,dove elenco alcuni dei settaggi per poter scaricare quote aggiornate da qualsiasi odd comparison .
innanzitutto andate su questa pagina https://webscraper.io/
Troverete questa schermata
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su install e installate l'estensione (spero sappiate come installare un estensione vero?)
Andate avanti se tutto è andato bene vi ritroverete su questa schermata
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Bene ora andate sul sito di comparazione quote che usate abitualmente
In questo tut,io ho scelto bet esplorer-Quindi il codice preparato potete usarlo solo qui. Ma con il tempo imparerete a usarlo ovunque.
Quindi andiamo su questo link
www.betexplorer.com/next/soccer/
La pagina ci mette circa 40 secondi per caricare il proprio database esterno
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Ora
Tasto destro del mouse
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Andate su ispeziona e cliccate su Web Scraper (che sarebbe l'estensione che abbiamo installato)
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Bene ora vi troverete questa scherm
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ORA cliccate su Import Sitemap
Copiate questo codice Json che ho creato io grazie all'estensione(con il tempo vedrete che è facile) è incollatelo nello spazio bianco adibito (evidenziato con la matit viola)
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
{"_id":"bet-esplorer-palinsesto-giornaliero","startUrl":["https://www.betexplorer.com/next/soccer/"],"selectors":[{"id":"Link-Match","parentSelectors":["_root"],"type":"SelectorLink","selector":".table-main__tt a","multiple":true,"delay":0},{"id":"Data-Ora","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__date","multiple":false,"delay":0,"regex":""},{"id":"Campionato ","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(3) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Stagione","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(4) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Match","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"span.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Element-Odd","parentSelectors":["Link-Match"],"type":"SelectorElement","selector":".sortable tbody tr","multiple":true,"delay":0},{"id":"Book","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(1)","multiple":false,"delay":0,"regex":""},{"id":"Uno ","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(5)","multiple":false,"delay":0,"regex":""},{"id":"Pari","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(6)","multiple":false,"delay":0,"regex":""},{"id":"Due","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(7)","multiple":false,"delay":0,"regex":""},{"id":"Medie","parentSelectors":["Link-Match"],"type":"SelectorGroup","selector":"#match-add-to-selection td.table-main__detail-odds:nth-of-type(n+3)","delay":0,"extractAttribute":""},{"id":"Ris-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__score","multiple":false,"delay":0,"regex":""},{"id":"Parziale-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"h2.list-details__item__partial","multiple":false,"delay":0,"regex":""}]}
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Sotto c'è scritto Rename Sitemap ;mettetici qualsiasi nome. Io lo nominato palinsesto giornaliero bet esploorer.
Ora si è creata la nostra sitemap Dovreste vedere questa shermata
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccateci sopra
L'estensione vi chiederà cosa fare ora?
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su scrape le altre cose per ora non ci interessano
Una volta cliccato su scrape vi uscirà un ultima shermata riguardante la velocità
Io metto ritardo 3000
Se mettete una velocità alta c'è il rischio che vi salti le quote ,delle partite o dei dati sensibili.
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Siamo pronti Cliccate su Stat Scraping e andatevi a fare un caffe ,na sigaretta.Per 300 partite il sabato ci mette dieci minuti massimo ma non salta una partita ,un risultato, na quota eccc Nulla
Una volta scaricato tutto, l'estensione vi chiederà come e dove salvare i dati
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Cliccate su XLSXe avrete il vostro file.Ci metterete un minuto a cancellare quello che non vi serve sistemare la data ,le quote ecc
Nella mia sitemap che vi ho creato ci sono le quote per ogni partita di tutti i book di quel momento e in più le relative quote medie di tutti i book inerenti alla partita esaminata.
Nella colonna dei risultati finali se la partita non è incominciata non c'è nulla altrimenti se per esempio scaricate il giorno dopo la pagina del giorno precedente(esempio ieri 03-04-2022) troverete risultati finali e parziali primo tempo finale
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
A differenza di python(che non è un estensione ma un vero linguaggio di programmazione) che per lo scraping è il migliore in assoluto questa estensione non ti salta mai un partita o una quota se la settate per bene .
Probabilmente a causa dei siti web poco restii ad vere troppa gente che scarica tanta roba in maniera veloce appesantendo il server ,parecchi linguaggi saltano dei dati mentre scaricano .
Questa estensione è fantastica. Io scarico direttamente dal sito snai, bet 365 o pinnacle ad esempio ..
Ma naturalmente se volete qualcosa di più professionale loro hanno anche il servizio api che vi scarica le quote dal sito scelto ogni tot secondi ,minuti ,ora, o giorni in maniera automatica
Alla fine cmq avere un programmatore di fiducia ,che vi dia la pappa pronta naturalmente dietro compenso ,credo che per i proff sia la scelta migliore e grazie a Dio in Italia (anche in questo forum )c'è ne sono di bravi
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Per ora penso vada bene ,è da studiare cmq
Se volete scaricare i giorni precedenti ,le aperture(che non servono a nulla secondo me),gli altri sport ecc
https://webscraper.io/how-to-videos Per imparare a creare da0 la tua sitemap
https://forum.webscraper.io/ dove chiedere se qualcosa non torna
Spero di aver fatto cosa gradita. Se ho commesso errori grammaticali chiedo scusa.
È stato un piccolo lavoraccio fatto nel più breve tempo possibile .Buon betting
Ciao, ottimo tutorial! Una domanda sul codice json? A che cosa serve? Se volessi fare scraping da un altro sito come creo quel codice? Grazie. -
.
Ciao Robj l ha segnato sopra...
Segui qst link
https://forum.webscraper.io/
C'è da studiare un po..... Ma nn é impossibile!!!!. -
.
"_id":"bet-esplorer-palinsesto-giornaliero","startUrl":["https://www.betexplorer.com/next/soccer/"],"selectors":[{"id":"Link-Match","parentSelectors":["_root"],"type":"SelectorLink","selector":".table-main__tt a","multiple":true,"delay":0},{"id":"Data-Ora","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__date","multiple":false,"delay":0,"regex":""},{"id":"Campionato ","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(3) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Stagione","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(4) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Match","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"span.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Element-Odd","parentSelectors":["Link-Match"],"type":"SelectorElement","selector":".sortable tbody tr","multiple":true,"delay":0},{"id":"Book","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(1)","multiple":false,"delay":0,"regex":""},{"id":"Uno ","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(5)","multiple":false,"delay":0,"regex":""},{"id":"Pari","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(6)","multiple":false,"delay":0,"regex":""},{"id":"Due","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(7)","multiple":false,"delay":0,"regex":""},{"id":"Medie","parentSelectors":["Link-Match"],"type":"SelectorGroup","selector":"#match-add-to-selection td.table-main__detail-odds:nth-of-type(n+3)","delay":0,"extractAttribute":""},{"id":"Ris-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__score","multiple":false,"delay":0,"regex":""},{"id":"Parziale-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"h2.list-details__item__partial","multiple":false,"delay":0,"regex":""}]}
Questo CODICE JSON come si ricava ?. -
."_id":"bet-esplorer-palinsesto-giornaliero","startUrl":["https://www.betexplorer.com/next/soccer/"],"selectors":[{"id":"Link-Match","parentSelectors":["_root"],"type":"SelectorLink","selector":".table-main__tt a","multiple":true,"delay":0},{"id":"Data-Ora","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__date","multiple":false,"delay":0,"regex":""},{"id":"Campionato ","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(3) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Stagione","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"li:nth-of-type(4) a.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Match","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"span.list-breadcrumb__item__in","multiple":false,"delay":0,"regex":""},{"id":"Element-Odd","parentSelectors":["Link-Match"],"type":"SelectorElement","selector":".sortable tbody tr","multiple":true,"delay":0},{"id":"Book","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(1)","multiple":false,"delay":0,"regex":""},{"id":"Uno ","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(5)","multiple":false,"delay":0,"regex":""},{"id":"Pari","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(6)","multiple":false,"delay":0,"regex":""},{"id":"Due","parentSelectors":["Element-Odd"],"type":"SelectorText","selector":" td:nth-child(7)","multiple":false,"delay":0,"regex":""},{"id":"Medie","parentSelectors":["Link-Match"],"type":"SelectorGroup","selector":"#match-add-to-selection td.table-main__detail-odds:nth-of-type(n+3)","delay":0,"extractAttribute":""},{"id":"Ris-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"p.list-details__item__score","multiple":false,"delay":0,"regex":""},{"id":"Parziale-Finale","parentSelectors":["Link-Match"],"type":"SelectorText","selector":"h2.list-details__item__partial","multiple":false,"delay":0,"regex":""}]}
Questo CODICE JSON come si ricava ?
Ciao il codice viene generato automaticamente appena clicchi sopra i dati che ti servono per scaricare.
Funziona come la macro di excel in poche parole.
Potrei postarti 1000 codici generati da due anni a questa parte.
Ho scaricato da amazon ,odd portal, dai book ,da ebay insomma da qualsiasi sito.
Il problema è che se non si studiano un'pò i tutorial(semplici) non puoi incominciare a capire come funziona.
Successivamente dopo un'pò di pratica ,puoi scaricare e crearti database da qualsiasi sito internet.
Ultimamente io ad esempio sto scaricando da wikpedia per crearmi un data per uso personale.
Incomincia a seguire questa scaletta .Clicca dal primo all'ultimo file e segui i video. Cosi incominci a capire come funziona ,come si creano i codici ecc
https://webscraper.io/how-to-videos
Questo ad esempio ti mostra come creare i codici(le sitemap)
https://webscraper.io/how-to-video/create-a-sitemap
Ps io non li conosco sia chiaro ,magari ad averci lo 0,10 % di quello che guadagnano tramite google
Però dato che è gratuito un occhiatina uno la può dare.
Ultima cosa
Con il tempo capisci anche come funziona una pagina web, come crearti da solo il codice, riuscendo anche a scaricare dati che alcuni siti dinamici "nascondono ",tipo le quote di apertura di odd portal.
Ma con il tempo .
Se vai veloce e hai fretta affidati ad un programmatore.Ciao, ottimo tutorial! Una domanda sul codice json? A che cosa serve? Se volessi fare scraping da un altro sito come creo quel codice? Grazie
ciao rob
https://webscraper.io/how-to-video/create-a-sitemap
questa è la base ti dice come mettere il nome al progetto e il link che ti serve da scaricare
Nel video si vede:
Prima immettere il nome del progetto(ad esempio se scarichi da ebay ci metti ebay -prova)
Poi successivamente ti fa vedere dove mettere il link del sito che decidi di scaricare
Anche a te consiglio di seguire la scaletta presente qui dove ci sono tutti i tutorial più importanti
https://webscraper.io/how-to-videos.