Données Publiques Challengers

L'Agora est la place publique située devant l'Arène où tout le monde se retrouve pour discuter des combats. On y dénombre de nombreux cafés, où certains habitués ont l'habitude de se réunir et parler de leurs derniers exploits.

Re: Données Publiques Challengers

Messagede Amra » Jeu 14 Avr 2011, 13:37

Mohja a écrit:Oui, tout à fait, l'extraction, qui n'est pas conditionnée par le bon fonctionnement des autres scripts, a tourné avant que le reste n'ait fonctionné.

J'ai pas mal de boulot pour réussir à transformer mes scripts de nuit, et alléger l'historique de certaines tables de stats qui servent aux graphiques. Il faut que je fasse des essais, mais je pense que c'est la table des stats des combattants, qui a un historique quotidien depuis le 1er septembre, qui est en train de me faire des misères (5 Mo en taille, et presque 1 minute 30 pour réussir à faire une centaine d'insert pour initialiser les stats de la nouvelle journée).
Il faudrait probablement que je fasse un script qui puisse agréger les données passé une certaine période (3 mois par exemple) ou bien ne conserver que 3 mois de données (ce serait le plus simple, mais c'est moins sympa sur les graphiques de perdre de l'historique).

Il a fallu que je relance 5 ou 6 fois un script avant de réussir à le voir se terminer. A noter que j'ai apporté en live un correctif qui évite qu'on passe plusieurs journées de news lorsque je lance plusieurs fois le script.



plutôt que de supprimer des stats, crée toi une table identique appelé genre combattant_archive dans laquelle tu gardes tout et la table dont tu te sers pour les scripts du jour tu ne gardes que 2 mois de données.
Amra, gestionnaire de l'équipe Antinest !
Avatar de l’utilisateur
Amra
 
Messages: 1873
Inscription: Mer 2 Juin 2010, 09:18

Re: Données Publiques Challengers

Messagede Aspic » Jeu 14 Avr 2011, 13:48

Mohja a écrit:...mais je pense que c'est la table des stats des combattants, qui a un historique quotidien depuis le 1er septembre, qui est en train de me faire des misères (5 Mo en taille, et presque 1 minute 30 pour réussir à faire une centaine d'insert pour initialiser les stats de la nouvelle journée).
Il faudrait probablement que je fasse un script qui puisse agréger les données passé une certaine période (3 mois par exemple) ou bien ne conserver que 3 mois de données (ce serait le plus simple, mais c'est moins sympa sur les graphiques de perdre de l'historique)....


Si tu utilisais une base Oracle, j'aurais des solutions à te proposer, mais je sais pas si ça existe avec la base que tu as là-dessous (c'est quoi comme base d'ailleurs?). ==> Partitionnement de la table avec index locaux?

Sinon les inserts qui prennent du temps ça peut venir d'index trop couteux à maintenir... Ils sont peut-être déséquilibrés, ça pourrait valoir le coup de les recréer/reconstruire pour les rééquilibrer un peu. Voir aussi si tu n'as pas des index inutilisés, autant les supprimer dans ce cas.
Entraineur de l'écurie : Fremens
Dans l'arène c'est tuer ou être tué... Nous on a un peu de mal à choisir :mrgreen: (69 victimes, 43 combattants au cimetière).
Avatar de l’utilisateur
Aspic
 
Messages: 1701
Inscription: Ven 17 Juil 2009, 05:50

Re: Données Publiques Challengers

Messagede Oxyres » Jeu 14 Avr 2011, 14:17

MySQL à 95% de chances.
Oublie les techniques Oracle, c'est carrément pas le même niveau, c'est aussi différent qu'une mobylette et un tank.
Oxyres
 

Re: Données Publiques Challengers

Messagede Mohja » Jeu 14 Avr 2011, 14:57

Oulàlà, j'y connais pas grand chose moi. C'est effectivement du MySQL, et j'ai jeté un coup d'oeil justement hier pour voir pourquoi c'était si long et j'ai vu que je n'avais pas mis d'index. Alors du coup j'en ai créé un sur le champ date. Parce que je ne suis pas sûr que ce soit un problème d'insert, c'est peut-être aussi un problème de select sur la date.
Franchement, je n'ai jamais vraiment compris comment fonctionnait un index, donc je ne peux pas dire si c'est sensé optimiser ou pas. J'ai pas vraiment constaté de différence.

Mais sinon, la solution d'Amra est très intéressante, mais je pense qu'il faut que je garde l'historique de manière agrégée, sinon je reporte le problème sur l'alimentation de la base "historique".

Ou alors vous avez une super requête MySQL à me proposer ? Le principe, c'est de "copier" toutes les données du jour J-1 et de "coller" en les mettant à la journée J (champs date). Lors des scripts suivants, je fais des update des stats de chaque combattant sur la journée J en fonction des événements (kill, ko, gain d'xp...).
L'optimisation, ce serait de remplacer une boucle sur un select de chaque combattant puis insert en une seule requête...
En fait, je fais pire que ça, mais je pourrais peut-être améliorer un peu en supprimant la boucle sur les écuries. Actuellement, c'est ainsi que je fais :

Code: Tout sélectionner
select des écuries
Début boucle1
-- Select des combattants de l'écurie
-- Début boucle 2
---- Si les données n'existent pas (nouveau combattant) ou si on est le premier jour du mois, un certain nombre de champs vont être mis à zéro, sinon on prend les valeurs de la veille
---- Insert des stats du combattants (avec qqs infos sur l'écurie).
-- Fin boucle 2
Fin Boucle 1
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Aspic » Jeu 14 Avr 2011, 15:12

Pour faire des insert, les index n'améliorent rien du tout, en fait ça peut même dégrader un peu les temps car tu dois mettre à jour la table + les index.

Par contre lorsque tu fais des update ou des delete là des index peuvent t'aider. Il faut que le ou les index portent sur le ou les critères de la clause WHERE du delete ou de l'insert.

Plus le critère est déterminant, plus l'index sera efficace. Il faudrait que j'en sache un peu plus sur ton traitement pour essayer de voir s'il y a une optimisation à faire. Quand tu parles de prendre les valeurs de la veille, j'en déduis que tu va chercher des infos pour faire tes inserts, c'est peut-être cette recherche d'infos qui prends du temps plus que l'insert proprement dit (normalement un insert c'est rapide, sauf si tu as 30 index à maintenir sur la table où tu insères...).

Si tu veux tu peux m'envoyer ton code en PM (quitte à me cacher les infos sensibles s'il y en a) et j'essaierais de voir avec toi si tu peux l'optimiser d'une façon ou d'une autre.
Entraineur de l'écurie : Fremens
Dans l'arène c'est tuer ou être tué... Nous on a un peu de mal à choisir :mrgreen: (69 victimes, 43 combattants au cimetière).
Avatar de l’utilisateur
Aspic
 
Messages: 1701
Inscription: Ven 17 Juil 2009, 05:50

Re: Données Publiques Challengers

Messagede Mohja » Jeu 14 Avr 2011, 16:03

Ok, je t'envoie ça.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Aspic » Jeu 14 Avr 2011, 16:52

Un premier jet de réponse dans ma boite d'envoi... Plus de place dans la boite de réception du maiiiiiiiiiiitre? :mrgreen:
Entraineur de l'écurie : Fremens
Dans l'arène c'est tuer ou être tué... Nous on a un peu de mal à choisir :mrgreen: (69 victimes, 43 combattants au cimetière).
Avatar de l’utilisateur
Aspic
 
Messages: 1701
Inscription: Ven 17 Juil 2009, 05:50

Re: Données Publiques Challengers

Messagede Mohja » Ven 15 Avr 2011, 09:34

Heu, Aspic, tu as envoyé à quelle adresse ? (réponse par mp pour garder l'info privée).

Pour me contacter, il faut utiliser : mohja.morgastritenvor@gmail.com

C'est ma boîte spécifique "Challengers".
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Aspic » Ven 15 Avr 2011, 09:42

C'était coincé dans ma boite d'envoi de messages privés sur le fofo... :siffloter:
Entraineur de l'écurie : Fremens
Dans l'arène c'est tuer ou être tué... Nous on a un peu de mal à choisir :mrgreen: (69 victimes, 43 combattants au cimetière).
Avatar de l’utilisateur
Aspic
 
Messages: 1701
Inscription: Ven 17 Juil 2009, 05:50

Re: Données Publiques Challengers

Messagede Rohel » Ven 15 Avr 2011, 10:45

Mohja a écrit:Heu, Aspic, tu as envoyé à quelle adresse ? (réponse par mp pour garder l'info privée).

Pour me contacter, il faut utiliser : mohja.morgastritenvor@gmail.com

C'est ma boîte spécifique "Challengers".


c'est sur que vu le nom tu risquais pas d en avoir deux sur gmail ...
Rohel
 

Re: Données Publiques Challengers

Messagede Mohja » Mer 4 Mai 2011, 15:26

Au fait, je pourrais afficher un classement par xp de voie total (dépensé et non dépensé) par combattant, toute voie confondue...

Je suppose qu'il ne faut pas que je le publie, mais il y a quelques informations intéressantes... J'espère que je ne froisserai personne à donner quelques infos (sans trop de précision).

Par exemple, le premier, et de loin (de près de 2500 xp devant le second du classement !) n'appartient pas au top 10 de l'arène !

Vieux Rusé ne fait pas partie dans le trio de tête.
Fucking Bastard est un des mieux classés par rapport au "peu" d'xp qu'il possède, et pas loin on trouve aussi Avygeil.
Dans le top 40, sauf erreur de ma part, c'est Jalruik le moins expérimenté (en voie). On voit l'effet "tournoi" !


Concernant les xps d'entrainement (dépensé + non dépensé), c'est largement Big Bastard le numéro 1, suivi de Vieux Rusé, talonné de près par Gottri et plein d'autres. C'est intéressant, l'ordre est assez différent de ce que les xps de voie nous apprennent. Sans doute l'effet "xps de fans" y est-il pour quelque-chose...
On y trouve au sommet essentiellement les grands chefs de file : Lars, Alphonse, Daigotsu, Raymond...

Les écarts sont beaucoup plus serrés qu'au niveau des xps de fans : pas plus de 600 xp de différence entre le 1er le 30ème du classement par xp d'entrainement contre 7000 xps de voie entre le 1er et le 30ème du classement par xp de voie. Remarquez, 600, c'est pas mal quand même.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Rohel » Mer 4 Mai 2011, 17:03

Serait il possible sur le fichier extract_morts d'avoir une colonne avec l'écurie du combattant qui a fait le kill ?

Actuellement on a l'information dans message mort mais c'est assez difficilement exploitable.

Rohel
Rohel
 

Re: Données Publiques Challengers

Messagede Elon » Sam 7 Mai 2011, 08:27

Les données n'ont pas été actualisées.

C'est automatique ou manuel ?
Elon
 

Re: Données Publiques Challengers

Messagede Mohja » Sam 7 Mai 2011, 10:42

C'est automatique... quand ça veut bien être lancé. Je ne les relance pas manuellement.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Amra » Mer 1 Juin 2011, 08:56

Une petite demande.
Serait-il possible d'avoir une extraction de la table équipement, histoire de pouvoir rechercher des objets plus facilement avec plus de critère de tri grâce à excel ?

En retirant les objets de clan si tu ne veux pas les dévoiler.
Amra, gestionnaire de l'équipe Antinest !
Avatar de l’utilisateur
Amra
 
Messages: 1873
Inscription: Mer 2 Juin 2010, 09:18

Re: Données Publiques Challengers

Messagede Mohja » Mer 1 Juin 2011, 10:06

On ne visualise pas tous les équipements disponibles dès le début, certains ne deviennent visibles qu'à partir d'un certain niveau de voie (sans parler des équipements de clan). L'idée était qu'il fallait progresser pour découvrir un peu à l'avance les futurs "gros" équipements.

Dans ce sens, le truc intéressant serait de pouvoir cliquer sur un lien qui génère une liste de matériel en csv à partir de la page équipement, ce qui permettrait d'obtenir la liste des équipements que l'on a le droit de visualiser.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Amra » Mer 1 Juin 2011, 10:35

Mohja a écrit:On ne visualise pas tous les équipements disponibles dès le début, certains ne deviennent visibles qu'à partir d'un certain niveau de voie (sans parler des équipements de clan). L'idée était qu'il fallait progresser pour découvrir un peu à l'avance les futurs "gros" équipements.

Dans ce sens, le truc intéressant serait de pouvoir cliquer sur un lien qui génère une liste de matériel en csv à partir de la page équipement, ce qui permettrait d'obtenir la liste des équipements que l'on a le droit de visualiser.


pas bête !
ça m'aiderai bien dans mes recherches mais comme c'est juste un petit plus t'embêtes pas trop.
Amra, gestionnaire de l'équipe Antinest !
Avatar de l’utilisateur
Amra
 
Messages: 1873
Inscription: Mer 2 Juin 2010, 09:18

Re: Données Publiques Challengers

Messagede Oxyres » Mer 1 Juin 2011, 10:45

En même temps, à part les équipements de clan et les deux de la voie de l'équipement, on s'en rend pas vraiment compte de l'agrandissement de la liste d'équipements.
C'est sûrement à cause des prix, on n'a pas l'argent pour acheter les gros équipements alors on ne s'intéresse pas tout de suite à la fin de la liste...
Donc au final, je suis pas sûr de l'utilité du truc.
Oxyres
 

Re: Données Publiques Challengers

Messagede Mohja » Mer 1 Juin 2011, 10:54

Oui, je me posais aussi cette question Oxyres.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Elon » Jeu 28 Juil 2011, 11:05

il manque bizarrement un match .... le 17820
Elon
 

Re: Données Publiques Challengers

Messagede Nain » Ven 23 Sep 2011, 10:18

Serait il possible d'avoir la valeur des actions réalisés dans le fichier du résumé des combats du jour ?
Nain
 

Re: Données Publiques Challengers

Messagede Mohja » Ven 23 Sep 2011, 10:29

Pour ce fichier, il va y avoir une mise à jour ce soir aussi (si ce n'est déjà fait). Tu me diras si tu as les infos qui t'intéressent ensuite.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede Nain » Ven 23 Sep 2011, 12:06

Effectivement les infos apparaissent bien par contre l'ancienne dernière colonne (combattant_nom_cible) a disparu du coup ^^
Nain
 

Re: Données Publiques Challengers

Messagede Mohja » Ven 23 Sep 2011, 14:03

Ah ? Oups. J'ai vu le bug. Je corrigerai aussi ce soir.
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede blairox » Dim 6 Nov 2011, 12:08

Salut,

Afin d'automatiser le calcul de la KO's league, j'aimerais beaucoup que les résumés de combats du tournoi en cours soient stockés dans un fichier à part. Le fichier se remplirait au fur et à mesure en ajoutant les combats des nouveaux rounds. Et à la fin du tournoi, l'ensemble des combats du tournoi seraient dans le fichier (sous le même format que le fichier de résumés de combats).

Nb: un tel fichier pourrait également permettre de récupérer 'facilement' plein d'autres stats relatives au tournoi, afin de mettre en avant ceux qui y ont brillé de différentes manières...

Est-ce que ça semble jouable ?

Merci !
blairox
 

Re: Données Publiques Challengers

Messagede Nain » Dim 6 Nov 2011, 12:14

Personnellement cela ne m'arrangerait plus trop maintenant car le fait d'avoir 3 jours de données me permet de récupérer les infos les week end où je suis pas là.

A moins de faire un fichier indépendant supplémentaire qui serait relatif qu'aux données du tournoi.
Nain
 

Re: Données Publiques Challengers

Messagede blairox » Dim 6 Nov 2011, 12:16

Oui, oui, je parle bien d'un nouveau fichier, sans rien changer à ce qui existe déjà évidemment...
blairox
 

Re: Données Publiques Challengers

Messagede Mohja » Dim 6 Nov 2011, 18:39

Les fichiers sont des simples extractions des tables du jeu. Si je n'ai pas de tables qui correspond à votre besoin, je n'ai pas moyen de vous fabriquer le fichier dont vous parlez. Et je ne vais pas surcharger ma base avec des tables en doublon.
Il faut que vous fassiez par vous-même le traitement qui va bien pour stocker vos infos.

Cependant, je pense l'avoir déjà dit, je suis ok pour héberger votre code ou bien pour faire tourner une commande via la crontab du site.

Exemple : vous hébergez chez vous une base de donnée, dont je vous ai donné les spécifications pour contenir les données extraites, vous faites votre propre script qui intègre les données du fichier, et je vous permet de lancer ce script tous les jours via ma crontab).

C'est une proposition qui est valable pour toutes les utilisations qui profitent à tous les joueurs (les stats de KO's League sont un exemple).
Mohja, fondateur de l'Arène Challengers.
- je suis le maîîîîître ! Et toi, qui es-tu ? -
Mohja
Administrateur
 
Messages: 5886
Inscription: Sam 30 Aoû 2008, 08:33

Re: Données Publiques Challengers

Messagede hummer » Lun 7 Nov 2011, 09:20

petite question, ces fichiers sont ou ? je n'arrive pas à trouver le chemin ?
a oui et y a t'il un historique de ses fichiers ?
hummer
 

Re: Données Publiques Challengers

Messagede Amra » Lun 7 Nov 2011, 10:32

hummer a écrit:petite question, ces fichiers sont ou ? je n'arrive pas à trouver le chemin ?
a oui et y a t'il un historique de ses fichiers ?


tu peux trouver l'adresse de chaque fichier dans l'aide expert. (http://challengers.mohja.fr/publicdata/)
il n'y a pas d'historique.
Amra, gestionnaire de l'équipe Antinest !
Avatar de l’utilisateur
Amra
 
Messages: 1873
Inscription: Mer 2 Juin 2010, 09:18

Précédente

Retourner vers L'Agora



Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré

cron