Spotnet DB Cleanup 1.0.0.5 voor spotnet 1.7.4

[Cootje81]

Miss handig om de banlist in deze tool teverwerken?

[spidow]

Miss handig om de banlist in deze tool teverwerken?

Heeft een banlist nog nut dan? Spots kunnen nu toch al gemeld worden?

[peterpc]

Hallo spidow,

deleten van duplicates dmv 'delete from spots where id in (select id from spots group by msgid having count(*) > 1)'
ziet er goed uit, echter het gaat niet altijd goed. Bijvoorbeeld 'Meraki theme - Iphone' heeft 3 entries met 3
verschillende msgid's.
Eventueel zou deze constructie ook op de 'title' kolom losgelaten kunnen worden.
De eerste geeft bij mij ruim 5000 hist en de tweede ruim 36000 hits.

En volgens mij doe je geen delete van comments welke bij verwijderde spots horen.

Een unieke index zal een error geven bij een insert van een duplikaat, hoe gaat spotnet hier mee om?

Deletes van search_content en search_docsize entries lijkt mij tricky daar deze tables gemaintained worden door de FTS4 extensie van SQLite voor virtual tables. Spotnet zelf doet alleen inserts op de 'search' table en houd zich verre van de search_x tables.

In ieder geval is het een goed begin voor een schonings procedure, en bedankt voor het noemen van mijn naam.

[spidow]

deleten van duplicates dmv 'delete from spots where id in (select id from spots group by msgid having count(*) > 1)'
ziet er goed uit, echter het gaat niet altijd goed. Bijvoorbeeld 'Meraki theme - Iphone' heeft 3 entries met 3 verschillende
msgid's.

Zijn dit dan niet 3 unieke spots, die door de poster 3 keer is geprobeerd?

Een unieke index zal een error geven bij een insert van een duplikaat, hoe gaat spotnet hier mee om?

Dit is ook experimenteel... ik hoop goed!

Deletes van search_content en search_docsize entries lijkt mij tricky daar deze tables gemaintained worden door de FTS4 extensie van SQLite voor virtual tables. Spotnet zelf doet alleen inserts op de 'search' table en houd zich verre van de search_x tables.

Maar ruimt deze het ook op

[peterpc]

Hallo spidow,

voorop gesteld dat ik het leuk vind dat je een cleaning tool maakt. Maar om dat te laten gebruiken door
spotnet users moet het wel fool proof zijn. En daarom probeer ik met je mee te denken.
Hierna volgt een serie schoonmaak acties welke ik geprobeerd heb (alle getallen voor rows zijn de rows
na de actie) :

376275 rows spots original
371010 rows delete from spots where id in (select id from spots group by msgid having count(*) > 1)
370931 rows delete from spots where id in
(select id from spots group by cat,subcat,extcat,topcat,date,filesize,title,sender,subcats,tag having count(*) > 1)

220520 rows comments original
220465 rows delete from comments where id not in (select id from spots)


376310 rows search original
348665 rows delete from search where subject not in (select title from spots)

start spotnet
geeft aan 376309 spots
met de scrollbar helemaal naar beneden geeft een leeg scherm
page up idem dito, ik denk dat dit een gevolg is van het tegen elkaar houden van de laatste rowid
en het echte aantal rows, wat appels met peren vergelijken is in mijn optiek.
volledig overzicht geeft 370931 van de 376309, waar die 376309 vandaan komt? Ik weet het niet.

select max(rowid) from spots geeft 376540, dat is het laatst gegenereerde rowid door SQLite,
en dat komt omdat id een primary key is.
select count(*) from spots geeft 370931, en dat is het fysieke aantal rows in spots

Spotnet doet dus rare dingen met de rowid en het echte aantal rows.

Hoop dat je wat hebt aan voorgaande.
Succes.

[Tom-tom-club]

Het zal mooi zijn als die cleanup nog meer kan wissen zo als spelletjes en de rest dan kan je wissen wat je niet gebruikt

[spidow]

start spotnet
geeft aan 376309 spots
met de scrollbar helemaal naar beneden geeft een leeg scherm

Weet je dat spotnet ook nog in een bestand het aantal spots in de database bijhoudt? Dit aantal moet matchen met het aantal spots in de database. Als dat niet het geval is krijg je een leeg scherm. Terug te vinden in: C:\Users\<username>\AppData\Local\Spotnet\<exe_assembly>\1.7.4.0\user_config

Code: Selecteer alles

  <setting name="DatabaseMax" serializeAs="String">
        <value>376447</value>
      </setting>
      <setting name="DatabaseCount" serializeAs="String">
        <value>63161</value>
      </setting>

(select id from spots group by cat,subcat,extcat,topcat,date,filesize,title,sender,subcats,tag having count(*) > 1)

Deze is wel beter inderdaad. Deze zal ik opnemen. Bedankt voor het meedenken.

rows delete from comments where id not in (select id from spots)

Ik heb niet het idee dat spots een relatie hebben met comments in de database. Anders zou een spot maar 1 comment kunnen hebben. Het id in comments is namelijk een primairy key.

[spidow]

Het zal mooi zijn als die cleanup nog meer kan wissen zo als spelletjes en de rest dan kan je wissen wat je niet gebruikt

Is mogelijk

[Tom-tom-club]

ik denk dat je daar heel wat mensen blij mee maak , en mijn al helemaal

[spidow]

ik denk dat je daar heel wat mensen blij mee maak , en mijn al helemaal

Maar...toe hoe ver wil je gaan? Alleen categorie of ook subcategoriën etc..