Script schreiben, der .csv liesst und path nach bestimmten Endung durchsucht

[galilio12 (Gast)]

Hallo zusammen,

ich möchte einen Script, der .csv datei liesst und Path rekursiv nach 
bestimmten Endungen (.qml) durchsucht.

Das .csv Datei sieht wie folgende aus:

Import,Version number
import QtQuick,2.9
import QtQuick.XmlListModel,2.0
import QtQuick.Particles,2.0
import QtQuick.Window,2.3
import QtQuickControls,1.5
import QtQuick.Controls,2.2
import QtQuick.Dialogs,1.2
import QtQuick.Layouts,1.3

Idee wäre der Path rekursiv nach diesem Endungen (.qml) zu durchsuchen 
und dann die die gefunden Datei nach diesem .csv zu durchsuchen.

Ich muss zugeben, dann ich in einen Anfänger was Python angeht.

Folgende habe ich versucht:

import argparse
# from enum import Enum
import os.path
import csv
import sys
import pprint
# import itertools
# from pathlib import Path
# import traceback
import pathlib
import os
import glob

__version__ = 'v1.00'

csv_importFile_Path = pathlib.Path("importFile.csv")
inputPath =  "C:\temp"
qmlPath = "D:\\temp"


class CheckQtQuickImport:

    def __init__(self, inputPath):
        "Initialize the class members"
        self.version = __version__
        self._setInPath(inputPath)

    def check_csv_path(self):
        exist = False
        if(os.path.exists(csv_importFile_Path)):
            print("File", csv_importFile_Path, "exist")
            exist = True
        else:
            print("File", csv_importFile_Path, "does not exist!!")
            exist = False
        return exist

    def csv_dict_list(self, csv_importFile_Path):
        with open(csv_importFile_Path, 'r') as fh:
            reader = csv.DictReader(fh)
            dict_list = []
            for row in reader:
                dict_list.append(row)
                print("!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!")
                # print("dict_list", dict_list)
                # print(dict(row))
                print ("----------------------------------------")
                print(row['Import'], row['Version number'])
                # print("-----------------------------------------")
                # print(row['Import'])
                # print("----------------------------------------")
                # print(row['Version number'])
                # print("----------------------------------------")
            # print('*****************', len(dict_list))
            print("dict_list[5]", dict_list[5])
            print("key", reader.line_num)
            return dict_list

    def findAncheckQuickImport(self, qmlPath):
        print("hello Check Start")
        with open(qmlPath) as f:
            # TODO qmlPath check
            dicList= self.csv_dict_list(csv_importFile_Path)
            print("test", dicList)
            if 'import QtQuick' in f.read():
                print("true-----------")


    def getQML(self):
        count = 0
        for filename in glob.iglob(self.inPathname + '/**/*.qml', recursive=True):
            count+=1
            nameList = []
            nameList.append(filename)
            # TODO searchMetho
            # self.findAncheckQuickImport(filename)
            print(nameList, sep = "\n")

        print("number of QML file : ", count)
        print("---------nameList of QML File start")
        return nameList

    def _setInPath(self, inputPath):
        self.inPathname = inputPath

if __name__ == '__main__':

    my_CheckQtQuickImport = CheckQtQuickImport(inputPath)
    print("Hello CheckQtQuickImport!")
    my_CheckQtQuickImport.check_csv_path()
    # my_CheckQtQuickImport.findAncheckQuickImport(qmlPath)
    # my_CheckQtQuickImport.openCSVFile()
    my_CheckQtQuickImport.csv_dict_list(csv_importFile_Path)
    # Calls the csv_dict_list function, passing the named csv
    # device_values = my_CheckQtQuickImport.csv_dict_list(variables_file)
    # print(device_values)
    print("\n")
    # Prints the results nice and pretty like
    # print("#############################################################################")
    # print(my_CheckQtQuickImport.csv_dict_list(variables_file))
    # pprint.pprint(device_values)
    my_CheckQtQuickImport.getQML()

[stoneage-sysadmin (Gast)]

Ich bin mir nicht sicher, ob ich die Aufgabe richtig verstehe. Geht es 
darum, in D:\TEMP und allen Unterverzeichnissen die Dateien

QtQuick.qml
QtQuick.XmlListModelqml
QtQuick.Particles.qml
etc...

zu finden?

Das ließe sich mit einfachen Shell-Bordmitteln (die gibt's auch für 
Windows) lösen.

sed -ne 's/^import \([^,]*\),.*/find 'D:/TEMP' -name "\1.qml"/p' \
  infile.csv \
| tee generiertes-find-script-zum-anschauen.sh \
| bash

(dritte Zeile mit tee ist optional, zum Debuggen)

Funktionsweise: Baue "import filename version" durch einfache 
Textersetzung zu einem Find-Kommando um und führe es aus.

Annahme: Du bist sicher, dass im Input keine Schweinereien wie 
Backticks, Dollars oder Beistriche sind. Die Methode ist nicht besonders 
Security-lastig, einzig blanks im Filenamen sollte sie aushalten :-/

[Dave4 (Gast)]

Ich verstehe die Aufgabe ehrlich gesagt nicht ganz. Soll die CSV 
vielleicht geschrieben werden?

[Miss Ratgeber (Gast)]

> ich möchte einen Script, der .csv datei liesst und Path rekursiv nach
> bestimmten Endungen (.qml) durchsucht.

Du solltest erstmal Deutsch lernen.
Die Problembeschreibung ist viel zu multivalent (=mehrdeutig).

[galilio12 (Gast)]

Hat jemenden vielleicht eine Idee???

Danke

[galilio12 (Gast)]

Bei diese Aufgabe geht es darum QML datei zu suchen.

Ist diese getun dann nach einen bestimmten String durchsuchen und zwar 
Datei für Datei.

idee ist:(Haben alle QML File die richtige Import)

[galilio12 (Gast)]

Dave4 schrieb:
> Ich verstehe die Aufgabe ehrlich gesagt nicht ganz. Soll die CSV
> vielleicht geschrieben werden?

nein
Die csv werden nur gelesen

[galilio12 (Gast)]

Die csv datei beinhalten die Import, die bei der QML Datei zu prüfen 
sind

[Wegstaben V. (wegstabenverbuchsler)]

und welche "Aufgabe" hat die csv Datei im Zusammenhang zu den .qml 
Dateien?

du schriebst":

"einen Script, der .csv datei liesst und Path rekursiv nach
bestimmten Endungen (.qml) durchsucht."

--> In der csv-Datei stehen also eine oder mehrere (Grund-) Pfade drin, 
und am diesen Pfaden soll rekursiv nach .qml Dateien gesucht werden?

Meine Glaskugel vermutet folgendes könnet gemeint sein:


suchdatei.csv:
  c:\temp\
  d:\daten\hugo\

--> alle Dateien c:\temp\*.qml sowie weitere *.qml in allen 
Unterverzeichnissen von C:\temp\* sollen gefunden und aufgelistet 
werden? [sinngemäss auch in D:\daten\hugo]

Output wäre dann in etwa:
c:\temp\irgendwas.qml
c:\temp\ramsch\wasanderes.qml
d:\daten\hugo\projekt1\trullala.qml

--> Soll die Ausgabe in eine weitere Datei erfolgen, oder reicht es aus, 
die Ausgabe auf dem Bildschirm anzusehen?


------
Wenn meine Glaskugel trübe ist:

könntest du bitte mal entsprechend meinem obigem Beispiel den exakten 
"input" und den "output" hier hin schreiben ?

[galilio12 (Gast)]

Wegstaben V. schrieb:
> und welche "Aufgabe" hat die csv Datei im Zusammenhang zu den .qml
> Dateien?

Die csv Datei beinhaltet die String, die bei qml Dateien zu durchsuchen.
Statt einen hardcodiert string in code zu geben, war die Idee einen csv 
Datei schreiben und dann die zu prüfenden String von dort zu holen.

Wegstaben V. schrieb:
> du schriebst":
>
> "einen Script, der .csv datei liesst und Path rekursiv nach
> bestimmten Endungen (.qml) durchsucht."
>
> --> In der csv-Datei stehen also eine oder mehrere (Grund-) Pfade drin,
> und am diesen Pfaden soll rekursiv nach .qml Dateien gesucht werden?

@nein
die csv beinhaltet genau diesen zeilen:

Import,Version number
import QtQuick,2.9
import QtQuick.XmlListModel,2.0
import QtQuick.Particles,2.0
import QtQuick.Window,2.3
import QtQuickControls,1.5
import QtQuick.Controls,2.2
import QtQuick.Dialogs,1.2
import QtQuick.Layouts,1.3

Wegstaben V. schrieb:
> --> Soll die Ausgabe in eine weitere Datei erfolgen, oder reicht es aus,
> die Ausgabe auf dem Bildschirm anzusehen?

Nein
Diese Script wird aus(Qt)UnitTest ausgeführt und wenn es fehler schlägt 
dann der Fehlergrund und die betroffene QML File ausgeben.

[Wegstaben V. (wegstabenverbuchsler)]

galilio12 schrieb:
> Die csv Datei beinhaltet die String, die bei qml Dateien zu durchsuchen.

Also möchtest du folgendes?

Ab einem gewissen Basis-Pfad (incl. rekursives tiefer gehen in weitere 
Unterverzeichnisse) sollen alle .qml Dateien nach den Suchmustern 
durchsucht werden, welche in deiner .csv Datei hinterlegt sind.

galilio12 schrieb:
> und wenn es fehler schlägt
> dann der Fehlergrund und die betroffene QML File ausgeben.

Aha. Und welche Fehler sind das nun genau? Das könnte z.B. sein:
- in verschiedenen Pfaden sind generell keine .qml Dateien vorhanden
- nicht alle der genannten 8 Strings sind genau so in einer zu 
untersuchenden  .qml Datei vorhanden
- der String ist vorhanden, aber die Versionsnumemr stimmt nicht überein

[galilio12 (Gast)]

Wegstaben V. schrieb:
> Aha. Und welche Fehler sind das nun genau? Das könnte z.B. sein:
> - in verschiedenen Pfaden sind generell keine .qml Dateien vorhanden
Das ist nicht als Fehler vorgesehen
> - nicht alle der genannten 8 Strings sind genau so in einer zu
> untersuchenden  .qml Datei vorhanden
Diese auch nicht
> - der String ist vorhanden, aber die Versionsnumemr stimmt nicht überein
diese ja
z.B:
Das QML File wird auf folgende untersucht:
z.B Ist die:
1)"import QtQuick" vorhanden, dann muss die Versionsnummer geprüft 
werden.
2)Ist "import QtQuick" dann weitersuchen (also next string und so 
weiter)

[Rolf M. (rmagnus)]

Mein Verständnis:
Im Prinzip sollen in der qml-Datei alle Zeilen (außer der ersten) 
gefunden werden, die mit einem der Einträge in der ersten Spalte des 
.cvs beginnen. Für jeden Fund soll geprüft werden, ob darauf der Wert 
der zweiten Spalte folgt oder nicht.

Beispiel:

CSV-Datei:
galilio12 schrieb:

Import,Version number
import QtQuick,2.9
import QtQuick.XmlListModel,2.0
import QtQuick.Particles,2.0
import QtQuick.Window,2.3
import QtQuickControls,1.5
import QtQuick.Controls,2.2
import QtQuick.Dialogs,1.2
import QtQuick.Layouts,1.3

In der .qml-Datei steht

import QtQuick 2.9
import QtQuick.Controls 2.5

Dann soll das Skript für die zweite Zeile einen Fehler ausgeben, da dort 
2.2 statt 2.5 stehen müsste.

[Wegstaben V. (wegstabenverbuchsler)]

Rolf M. schrieb:
> Mein Verständnis:
> ...

JA, das habe ich auch so verstanden bzw. "erarbeitet".

Das Manko des Thread-Eröffners (nicht nur seins) ist halt, das er "das 
Problem" nicht präzise genug beschreiben kann (konnte).

Wnn man in der Lage ist, ein Problem "genau" zu beschreiben (incl. der 
Randbedingungen), dann ist man ja auch schon auf halben Weg zur Lösung

Ob oder wie die Such-Anforderung in Python aussieht, oder ob das oben 
formulierte die Aufgabe erfüllt, weiss ich leider nicht.

[Einer (Gast)]

Im Anhang eine Javascript-Variante...

Viel Spaß!

[Sheeva P. (sheevaplug)]

galilio12 schrieb:
> Die csv Datei beinhaltet die String, die bei qml Dateien zu durchsuchen.
> Statt einen hardcodiert string in code zu geben, war die Idee einen csv
> Datei schreiben und dann die zu prüfenden String von dort zu holen.
> [...]
>

> Import,Version number
> import QtQuick,2.9
> import QtQuick.XmlListModel,2.0
> import QtQuick.Particles,2.0
> import QtQuick.Window,2.3
> import QtQuickControls,1.5
> import QtQuick.Controls,2.2
> import QtQuick.Dialogs,1.2
> import QtQuick.Layouts,1.3
>

Du möchtest Deinen Librarypfad rekursiv durchsuchen, in jede dort 
gefundene .qml-Datei schauen, die Versionsnummer extrahieren und dann 
schauen, ob die Version mit der in Deiner CSV-Datei hinterlegten 
übereinstimmt?

[Rolf M. (rmagnus)]

Sheeva P. schrieb:
> Du möchtest Deinen Librarypfad rekursiv durchsuchen,

Nein, er möchte das Verzeichnis mit seinen QML-Dateien rekursiv 
durchsuchen.

> in jede dort gefundene .qml-Datei schauen, die Versionsnummer extrahieren

Nicht die Versionsnummer der QML-Datei, sondern die Versionsnummern 
aller darin enthaltenen import-Anweisungen. In QML gibt man beim 
Einbinden eines Moduls per import immer mit an, welche Version man will.

>  und dann schauen, ob die Version mit der in Deiner CSV-Datei hinterlegten
> übereinstimmt?

Ja. Er möchte offenbar sicherstellen, dass alle seine QML-Dateien die 
selbe Version eines jeweiligen Moduls einbinden.

[Sheeva P. (sheevaplug)]

Rolf M. schrieb:
> Sheeva P. schrieb:
>>  und dann schauen, ob die Version mit der in Deiner CSV-Datei hinterlegten
>> übereinstimmt?
>
> Ja. Er möchte offenbar sicherstellen, dass alle seine QML-Dateien die
> selbe Version eines jeweiligen Moduls einbinden.

Hmmm... ich hab' mir gerade mal was gebastelt und in die Verzeichnisse 
von Orange Data Mining [1] geschaut, und heraus kommt:

--snip-----
     34 QtQuick 2.0
     52 QtQuick 2.1
    131 QtQuick 2.2
      1 QtQuick 2.3
      4 QtQuick 2.4
     18 QtQuick 2.5
      6 QtQuick 2.6
      6 QtQuick 2.8
      1 QtQuick 2.9
    254 QtQuick 2.10
--snap-----

Ich hab' seit Qt4 nichts mehr mit Qt gemacht und kenne QML auch nur vom 
Hörensagen. Aber mir scheint, daß in so einem Projekt offenbar mehrere 
Versionen derselben QML-Library (?) angezogen werden und womöglich sogar 
koexistieren können? Hat so eine Art Test dann überhaupt einen Sinn?


[1] https://orange.biolab.si/