Möglicherweise war der Wechsel von ijson zu json nicht die beste Entscheidung

[maxberghammer]

Der json-Parser braucht so viel zu viel Hauptspeicher. Mein Odroid C2 bricht mir (trotz 2GB Hauptspeicher) beim Full-Import so leider mit einem OOM ab. Und was ich gesehen habe scheinen die Jungs mit RasPis das selbe Problem zu haben. Wäre hier ein SAX-Parser nicht die sinnvollere Option, so wie es auch in der 0.6.2 mit ijson noch der Fall war? Ich weiß, SAX ist immer ätzend anzuprogrammieren, aber hier wäre es IMHO der sinnvollere Weg.

[codingPF]

Schau doch mal #170 ob das dein Problem behebt. Feedback erwünscht!

[maxberghammer]

Ja, das scheint zu funktionieren!

[codingPF]

Es wäre schön wenn du damit noch ein bisschen spielen könntest und dazu Feedback gibst.

Ich schulde dir noch eine Antwort auf deine eigentliche Frage.
IJSON hat in Pipe eine höhere Version als im Kodi repo. Die neusten fixes werden also nicht mehr ins REPO übernommen oder nicht regelmäßig.
Die Version 2.5 hat Probleme gemacht (siehe #170 )
Es gibt keine Kodi 19 (Matrix) Version...damit war der Weg für dieses ADDON ins Matrix Repo nicht möglich

Heute gibt es eine neue Version 2.6 (PIPE hat 3.04) für Kodi 18 und eine Version auf Kodi 19....
War die Entscheidung also falsch oder richtig? Ich weiß es nicht! Es schien mir zu diesem Zeitpunkt der richtige Weg....wird das nochmal re­vi­die­rt...vielleicht!

Für JSON gibt es keinen SAX parser (soweit ich weiß) und das äquivalent heißt ijson...aber wenn du da weitere Ideen hast, kann ich mir das gerne anschauen.

[maxberghammer]

Servus!

Ja, klar teste ich noch die weiteren Tage. Sobald mein emmc da ist, läuft das ganze dann produktiv per cron-job incl. dezidierter MariaDB, die momentan noch auf meinem NAS läuft und dann aber auch auf den Odroid wandert - Der FullUpdate auf einem meiner Kodi-Raspberrys zur MariaDB (muss ich so machen, weil da 3 Kodi-Raspis dranhängen) hat mir erstens zu lang gedauert und zweitens wurde der Pi dann auch regelmäßig richtig "warm", was mir persönlich nicht so gefiel. Also jetzt dezidierter Odroid C2 (der lag eh noch rum...) mit emmc, MariaDB und mvupdate3 per cron-Job. Euer mvupdate3 funktioniert übrigens perfekt mit pypy3, was nochmal bisserl Performance bringt.

Das mit ijson war mir so nicht bewusst. Python ist nicht so meine Welt...Wundert mich zwar etwas, dass es da keine SAX-like-Implementierung gibt, aber Deine Lösung, einfach das File zu splitten und gebatcht abzuarbeiten macht ja prinzipiell fast das selbe. Sollte also passen. Evtl. die Splitsize noch konfigurierbar machen über Kodi, dann sollten alle glücklich sein.

Ich bleib dran und melde mich!

Ach ja, und großes Lob an Euch! Das mediathekview-plugin in Kodi ist endlich mal eine Lösung, die richtig gut funktioniert und auch recht angenehm herzunehmen ist. Hab da vorher echt viel durchprobiert, aber das war irgendwie alles nicht so das wahre...

[codingPF]

Kodi Repo Check-in: Version 0.6.6 ist live