Ich hab mir mal die inoffizielle twitter web api angeschaut und die verwenden für unterschiedliche ansichten (feed, profile, detail) unterschiedliche queries. In den graphql request variablen gibt es auch eine count property, die man auf bis zu 100 tweets erhöhen kann. Damit könnte man deutlich effizienter und schneller ganz twitter scrapen.
Cooles Video. Selenium finde ich immer etwas hakelig, da darf sich an der Webseite nicht viel verändern. Das mit der Twitter-API ist ziemlich verwirrend. Ich hatte zum glück schon vor nem Jahr mal einen Account gemacht und der funktioniert immernoch wunderbar für 500k tweets/monat.
Super Arbeit!! Respekt! Leider wird das Bundesjustizministerium das Ganze wohl nicht einsetzen dürfen, weil da bestimmt keiner kompetent genug ist, um deinen Code zu analysieren und ihn für ungefährlich zu erklären. 😅😅🤣😭
das hat um ehrlich zu sein, wenig mit verpetzen zu tun. Das ist eine humoristische Herangehensweise mit einer Flut an gemeldeten Tweets umzugehen. Was genau darin steht - und wessen Tweets nach welchem Recht analysiert werden - bleibt eine Sache, die nicht mir obliegt.
@@TheMorpheusTutorials Ja, aber was passiert mit den Quatsch Meldungen, die vorgefiltert werden? Schaut die sich nochmal ein Mensch an? Wenn nicht, dann entscheidet die KI doch zumindest welcher Kommentar nicht rechtswidirg ist. Und das wäre meiner Meinung nach schon problemtisch (vor allem in einer staatlichen Institution).
@@vanmisthoven4906 Hier wird ja erstmal nur gezeigt, dass man sowas mittels KI filtern kann. Wie man sowas genau umsetzt gibt es sicherlich mehrere Möglichkeiten. Die "harmlosen" gemeldeten Tweets kannst du anfangs auch noch komplett anschauen um festzustellen, wie oft die KI falsch aussortiert. Bei den doch nicht so harmlosen Tweets dann schauen, ob die irgendein System haben, wenn das so ist kann man der KI dies zusätzlich sagen. Ansonsten muss man sich überlegen, ob eine kleine Fehlerquote akzeptabel ist. Später muss man dann trotzdem auf jeden Fall auch noch Stichproben machen, um die Qualität des Filters sicherzustellen. Möglich wäre auch, dass man sich trotzdem noch alle Tweets anschaut, damit aber priorisiert, in welcher Reihenfolge die Tweets kontrolliert werden. Wenn die KI sie als sehr wahrscheinlich rechtswidrig ansieht, wird er zuerst angeschaut. Wenn er wahrscheinlich harmlos ist, wird der Tweet erst später angeschaut. Das wären auf die schnelle 2 Ideen von mir, wie man es dann umsetzen kann.
Servus hätte zwei Fragen: Muss ich die 2minuten Werbung durchschauen damit du dein Geld bekommst oder reicht es wenn ich den Link anklicke und auf die HP geleitet werde? :D Außerdem was hältst du vom havard cs50 Kurs introduction to Computer science bin da grad in der 4ten Woche und schaue mir nebenbei deine Videos an fürs tiefere Verständnis. Mit 29 bin ich da ziemlich spät dran und weiß nicht ob der Zug schon abgefahren ist. Würd mich über eine Antwort riesig freuen Lg
29 ist definitiv nicht zu spät! Du hast ja noch mindestens 35 Jahre Arbeitsleben vor dir. Selbst wenn du jetzt nochmal 3 Jahre brauchst um deine Karriere zu wechseln, hast du immer noch über 30 Jahre die du davon profitierst. Es gibt viele Möglichkeiten in die IT einzusteigen und nie war es so leicht wie jetzt. Überlege dir einfach in welche Richtung du dein Leben gestalten willst und dann kann heute dein Tag 1 sein :) Ich spreche aus Erfahrung bei mir ging es mit 28 erst richtig los 😉
Kann da Omega Tofu nur zustimmen, zu spät gibt's aktuell fast nicht. Was für Werbung angeht: soweit ich weiß, macht es keinen Unterschied. Weg klicken sollte genauso gehen 😊
Kann man die Wait-Steps da nicht eigentlich auch noch irgendwie rausbekommen? (Frage, da ich mit den Tools noch nicht gearbeitet habe) Irgendwie triggert es mich mit einer Annahme zu Arbeiten, dass die Seite in 2 Sekunden da ist - kann schließlich schneller oder langsamer sein 😅
Actually lassen sich fact checks auch durchführen, ja. Wobei ich da Bing besser finde. Du kannst aber den Link nehmen, Posten und sagen mache einen Faktencheck für mich. Klappt super
Interessantes Konzept. Leider beschneidet Twitter ja seinen API-Zugriff seit einer Weile ziemlich arg (ich bin sooo froh das meine Uni-Projektarbeit davor fertig wurde...). Allerdings kann ich mir sehr gut vorstellen das unsere Staatsbehörden sich nicht vertraglich und/oder konzeptuell von einem US-amerikanischen Unternehmen abhängig machen möchten, wenn sie es nicht zwingend müssen (oder eine Lobby dafür da ist). Insbesondere nicht, wenn das System (ChatGPT in dem Fall) eine blackbox ist. Stattdessen sollte man seine eigene AI für sowas entwickeln lassen und sie auf eigener Hardware laufen lassen. Das sollte für einen so reichen Staat doch eigentlich angemessen sein? Hierbei kommen jedoch Probleme auf, wie: mangelndes Sachverständnis der Verantwortlichen/Politiker*Innen, zu wenig Budget für entsprechende Behörden, Mangel an Fachkräft*Innen mit dem know-how, konservative Herangehensweise an aktuelle Technik, you-name-it...
Am besten wäre ein Crawler, der all das sucht und die Hits via API zur Verfügung stellt. So kann sich jede Behörde die Daten holen. PS: Hab sowas mal angezeigt. Verfahren wurde eingestellt. Täter konnte (angeblich) nicht ermittelt werden.
Sollte dieser Kanal jetzt politisch werden, wird mein ABO gekündigt. Die Inhalte in diesem Video sind mir doch zu einseitig und B. ist ein rotes Tuch für viele.
das hat um ehrlich zu sein, wenig mit politisch zu tun. Das ist eine humoristische Herangehensweise mit einer Flut an gemeldeten Tweets umzugehen. Was genau darin steht - und wessen Tweets nach welchem Recht analysiert werden - bleibt eine Sache, die nicht mir obliegt.
@@TheMorpheusTutorials Theorie und Praxis. Warum hat dein Filter im Video einen politischen Kontext? Es gibt doch ausreichend andere Themen die man herausfiltern kann. Und die KI in diesem Kontext entscheiden zu lassen was Gut und Böse ist, halte ich im Übrigen für hochproblematisch.
Wie in Video betont sollte man KI niemals so etwas entscheiden lassen. Es geht eigentlich darum, dir Anfragen automatisch zu analysieren und darauf basierend entscheiden zu können, ob man sich das gerichtlich anschauen sollte. Mein Gedanke war eher, dass man die Arbeit des Amtes zu einem Teil vereinfachen kann und ich fand den Ansatz einfach lustig
Schön, wenn jemand einfach gute Laune hat und du hattest, die ja offenbar bei der Aufnahme. 👍😂
Definitiv 😂
Ich hab mir mal die inoffizielle twitter web api angeschaut und die verwenden für unterschiedliche ansichten (feed, profile, detail) unterschiedliche queries.
In den graphql request variablen gibt es auch eine count property, die man auf bis zu 100 tweets erhöhen kann.
Damit könnte man deutlich effizienter und schneller ganz twitter scrapen.
Cooles Video. Selenium finde ich immer etwas hakelig, da darf sich an der Webseite nicht viel verändern.
Das mit der Twitter-API ist ziemlich verwirrend. Ich hatte zum glück schon vor nem Jahr mal einen Account gemacht und der funktioniert immernoch wunderbar für 500k tweets/monat.
Internetpolizei mit Anschwärzen per Copy & Paste brauchen wir ganz dringend^^
Super Arbeit!! Respekt! Leider wird das Bundesjustizministerium das Ganze wohl nicht einsetzen dürfen, weil da bestimmt keiner kompetent genug ist, um deinen Code zu analysieren und ihn für ungefährlich zu erklären. 😅😅🤣😭
Und mit ihrem verifizierten Account will das Bundesjustizministerium sicher auch nicht gegen die TOS verstoßen. :D
Von den anderen den Job machen, wer kennts nicht 😂
das hat um ehrlich zu sein, wenig mit verpetzen zu tun. Das ist eine humoristische Herangehensweise mit einer Flut an gemeldeten Tweets umzugehen. Was genau darin steht - und wessen Tweets nach welchem Recht analysiert werden - bleibt eine Sache, die nicht mir obliegt.
@@TheMorpheusTutorials Überlies solche Leute doch einfach :D Man liest doch ganz klar heraus das er mit sich selbst unzufrieden ist.
Coole Spielerei, aber mal im Ernst, du möchtest eine KI entscheiden lassen welcher Kommentar rechtswidrig ist?
Du musst mir zuhören 😘 nicht entscheiden, vorfiltern lassen. Die kriegen sicher 90% Quatsch Meldungen
@@TheMorpheusTutorials Ja, aber was passiert mit den Quatsch Meldungen, die vorgefiltert werden? Schaut die sich nochmal ein Mensch an? Wenn nicht, dann entscheidet die KI doch zumindest welcher Kommentar nicht rechtswidirg ist. Und das wäre meiner Meinung nach schon problemtisch (vor allem in einer staatlichen Institution).
@@vanmisthoven4906 Hier wird ja erstmal nur gezeigt, dass man sowas mittels KI filtern kann. Wie man sowas genau umsetzt gibt es sicherlich mehrere Möglichkeiten.
Die "harmlosen" gemeldeten Tweets kannst du anfangs auch noch komplett anschauen um festzustellen, wie oft die KI falsch aussortiert. Bei den doch nicht so harmlosen Tweets dann schauen, ob die irgendein System haben, wenn das so ist kann man der KI dies zusätzlich sagen. Ansonsten muss man sich überlegen, ob eine kleine Fehlerquote akzeptabel ist. Später muss man dann trotzdem auf jeden Fall auch noch Stichproben machen, um die Qualität des Filters sicherzustellen.
Möglich wäre auch, dass man sich trotzdem noch alle Tweets anschaut, damit aber priorisiert, in welcher Reihenfolge die Tweets kontrolliert werden. Wenn die KI sie als sehr wahrscheinlich rechtswidrig ansieht, wird er zuerst angeschaut. Wenn er wahrscheinlich harmlos ist, wird der Tweet erst später angeschaut.
Das wären auf die schnelle 2 Ideen von mir, wie man es dann umsetzen kann.
Servus hätte zwei Fragen:
Muss ich die 2minuten Werbung durchschauen damit du dein Geld bekommst oder reicht es wenn ich den Link anklicke und auf die HP geleitet werde? :D
Außerdem was hältst du vom havard cs50 Kurs introduction to Computer science bin da grad in der 4ten Woche und schaue mir nebenbei deine Videos an fürs tiefere Verständnis. Mit 29 bin ich da ziemlich spät dran und weiß nicht ob der Zug schon abgefahren ist. Würd mich über eine Antwort riesig freuen
Lg
29 ist definitiv nicht zu spät!
Du hast ja noch mindestens 35 Jahre Arbeitsleben vor dir. Selbst wenn du jetzt nochmal 3 Jahre brauchst um deine Karriere zu wechseln, hast du immer noch über 30 Jahre die du davon profitierst.
Es gibt viele Möglichkeiten in die IT einzusteigen und nie war es so leicht wie jetzt.
Überlege dir einfach in welche Richtung du dein Leben gestalten willst und dann kann heute dein Tag 1 sein :)
Ich spreche aus Erfahrung bei mir ging es mit 28 erst richtig los 😉
Kann da Omega Tofu nur zustimmen, zu spät gibt's aktuell fast nicht.
Was für Werbung angeht: soweit ich weiß, macht es keinen Unterschied. Weg klicken sollte genauso gehen 😊
Top danke euch beiden 🤗
Wo findet man das Video zu Pickle, eine schnelle UA-cam-Suche hat leider nichts ergeben :(
Wie hast du den Plugin benutzt wenn du kein Plus hast
Klar hab ich plus. Ich hab aber keinen Zugriff auf die API
Kann man die Wait-Steps da nicht eigentlich auch noch irgendwie rausbekommen? (Frage, da ich mit den Tools noch nicht gearbeitet habe) Irgendwie triggert es mich mit einer Annahme zu Arbeiten, dass die Seite in 2 Sekunden da ist - kann schließlich schneller oder langsamer sein 😅
man kann auf elemente "warten" mit einer "timeout", das ist z.T. deutlich schneller, aber auch fehleranfällig, wenn z.B. das element geändert wird
Hy, gibt es eine Grund das du Selenium benutzt
Werden da auch die Böhmermann Fakenews erkannt?
Actually lassen sich fact checks auch durchführen, ja. Wobei ich da Bing besser finde. Du kannst aber den Link nehmen, Posten und sagen mache einen Faktencheck für mich. Klappt super
jetzt bräuchten wir noch den gegencode ... der alles vollsaut auf twitter
Apropos Mengenlehre und Mathematik, wann kommt die nächste Folge 🤔😂
Gute Frage 😂
Also aktuell nicht in Planung? 😅
Doch schon, aber ich versuche zu priorisieren 😅
wenn man nicht alles selber macht :) typisch öffentlicher Dienst (ich sprech aus Erfahrung arbeite selbst bei so einem Laden)
Interessantes Konzept. Leider beschneidet Twitter ja seinen API-Zugriff seit einer Weile ziemlich arg (ich bin sooo froh das meine Uni-Projektarbeit davor fertig wurde...).
Allerdings kann ich mir sehr gut vorstellen das unsere Staatsbehörden sich nicht vertraglich und/oder konzeptuell von einem US-amerikanischen Unternehmen abhängig machen möchten, wenn sie es nicht zwingend müssen (oder eine Lobby dafür da ist). Insbesondere nicht, wenn das System (ChatGPT in dem Fall) eine blackbox ist. Stattdessen sollte man seine eigene AI für sowas entwickeln lassen und sie auf eigener Hardware laufen lassen. Das sollte für einen so reichen Staat doch eigentlich angemessen sein?
Hierbei kommen jedoch Probleme auf, wie: mangelndes Sachverständnis der Verantwortlichen/Politiker*Innen, zu wenig Budget für entsprechende Behörden, Mangel an Fachkräft*Innen mit dem know-how, konservative Herangehensweise an aktuelle Technik, you-name-it...
geil, kanns kaum erwarten bis die ganzen ämter wegautomatisiert werden, das ist schon seit 10 jahren überfällig.
Man kann sich ja denken, wie das missbraucht werden kann.
Am besten wäre ein Crawler, der all das sucht und die Hits via API zur Verfügung stellt. So kann sich jede Behörde die Daten holen.
PS: Hab sowas mal angezeigt. Verfahren wurde eingestellt. Täter konnte (angeblich) nicht ermittelt werden.
Brauchst GPT-4 Access? Kannst n API Key von mir haben.
Alles gut 😅 so viel wie ich probieren will müsstest du mir Rechnungen schreiben
selenium + python = chatgpt ohne api key nutzbar👍
Sollte dieser Kanal jetzt politisch werden, wird mein ABO gekündigt. Die Inhalte in diesem Video sind mir doch zu einseitig und B. ist ein rotes Tuch für viele.
das hat um ehrlich zu sein, wenig mit politisch zu tun. Das ist eine humoristische Herangehensweise mit einer Flut an gemeldeten Tweets umzugehen. Was genau darin steht - und wessen Tweets nach welchem Recht analysiert werden - bleibt eine Sache, die nicht mir obliegt.
@@TheMorpheusTutorials Theorie und Praxis. Warum hat dein Filter im Video einen politischen Kontext? Es gibt doch ausreichend andere Themen die man herausfiltern kann. Und die KI in diesem Kontext entscheiden zu lassen was Gut und Böse ist, halte ich im Übrigen für hochproblematisch.
Wie in Video betont sollte man KI niemals so etwas entscheiden lassen. Es geht eigentlich darum, dir Anfragen automatisch zu analysieren und darauf basierend entscheiden zu können, ob man sich das gerichtlich anschauen sollte. Mein Gedanke war eher, dass man die Arbeit des Amtes zu einem Teil vereinfachen kann und ich fand den Ansatz einfach lustig
Ach deswegen wurde mein nicht Hass erfühtes Tweed gelöscht 😡 so viel zum Thema Twitter hört nicht mehr auf diese scheiß Zensur