Simple Web Scraping with Home Assistant
Вставка
- Опубліковано 10 лип 2024
- In this video tutorial we will see how to use the Web Scraping technique with Home Assistant to obtain information from a website to generate a sensor using the Scrape component.
This will allow us to create sensors with information from a website and thus control prices or values, in addition to detecting changes to receive a notification.
Automations and templates tutorial: • 8 trucos, con ejemplos...
PS: He has quite a cold, that's why he sounds quite nasal...
Chapters:
00:00 Presentation
01:13 What is Web Scraping?
00:33 Home Assistant Scrape Component
00:43 Captchas and Web Scraping
01:09 Get the status of a beach
03:15 Concert ticket notice
06:00 Price of a product
07:17 Convert text to number in Home Assistant
09:38 Save statistics
10:55 Farewell - Наука та технологія
Que gustazo haber descubierto tu canal! Un poco de HA para los avanzados!
Muy interesante. Gracias por compartirlo.
El canal crece rápidamente y eso me alegra porque tienes muy buen contenido. Ya le he dado utilidad al vídeo. Gracias
Me he quedado con la boca abierta... que buen video, que novedoso, pero que.... lo de siempre enhorabuena y muchas gracias...
Totalmente de acuerdo. Excelente video, mejor contenido y de gran utilidad!
Contenido práctico, innovador, bien explicado. Cada vez que UA-cam me avisa de un video tuyo me alegras el día. Muchas gracias.
Otro punto a favor de los sábados entonces :)
Muy buen video. Al grano y sin irte por las ramas y práctico para que lo entendamos todos. Gracias.
Hola. Me gusta tu forma de explicar las cosas. Ya tienes un nuevo suscriptor. Mil gracias.
Bienvenido al canal ;)
Un video super interesante que no había visto en otro canal y muy bien explicado, gracias
Te acabo de descubrir, muy buenos videos y bastante interesantes. #Enhorabuena 👏👏👏
Suscrito 👍
Me alegro que te guste, aunque al principio había leído «me acabo de desuscribir» y me he rayado pensado en qué malo tenía el vídeo... Maldita dislexia...
En 23h, vídeo nuevo ;)
Que bueno, no sabia que podía hacerse eso con Home Assistant.
Gracias por el vídeo. Ya tienes un suscriptor más!
Con HA básicamente se puede hacer de todo ;)
Bienvenido al canal.
@@lachozadigital intenté hacerlo, y con tu ejemplo funciona genial, pero con otras webs no consigo q salga el valor en el sensor. ¿depende de como esté programada la web? Gracias
@@luisinigo5572 Sí, depende de varios factores. Hay webs que tienen CAPTCHAs (sistema anti bot) que bloquean todo el tipo de scraping y hay que ir a por técnicas más avanzadas que requieren de conocimientos de programación.
Brutal
buenisimo
Me encanta tu canal.. me encantaría un vídeo sobre cámaras. Tengo Home Assistant pero lo tengo todo gestionado desde HomeKit porque no puedo sacar de ahí mis 3 cámaras. Las Aqara G2H Pro que van genial pero son son compatibles con Home Assistant. Sería genial un vídeo recomendando una cámara que funcione bien y se vea FLUIDA. Las que he visto la imagen va a golpes. 😱
En general, cualquier cámara con soporte ONVIF debería funcionar correctamente.
Y como habrás visto, no soy muy de hacer reviews ni nada, aún así, añado a la lista un vídeo sobre cámaras «a mi estilo».
Buenísimo. Enhorabuena por el video
Genial gracias, buenísimo.
Brutal, que bueno. Habia oido esa integracion pero no le presté atención.
Habrá que sacarle partido.
¡Qué chuladaaaa!, es superútil. Muchas gracias
Miguel, el video genial, muchas gracias, un saludo 👏👏👍👍
Me lo apunto. Muy interesante
Que bueno!!! 👏👏👏
Muy bien vídeo. Gracias otra vez. Las opciones que dejas abiertas para rastrear webs con precios son muy interesantes.
El scraping da muchísimo juego la verdad. Si bien un componente específico siempre va ir mejor, para algún apaño rápido puede ser más que interesante.
Brutal!!😳 y además perfectamente explicado. Muchas gracias
Me alegro que quede claro y que sea útil.
Muy interesante, útil y práctico. Muchas gracias 🙂
Un placer. Si se te ocurre alguna idea interesante con el scraping no dudes en compartirla
Amigo, la verdad que tu contenido es de lo mas interesante, y tu forma de explicar es súper correcta!! Sigue así! Saludos!!!
Me alegro. Aunque en este vídeo mi pronunciación, ya de por sí «mú andaluza», con la nariz taponada no tenía claro si se me entendía bien o no.
Eres la repanocha!
Lo normal en mi familia ;)
Excelenteee mil gracias antes daba muchas vueltas para hacer lo mismo!!!!😂
Una pregunta. Cómo podríamos notificar solo el precio del aceite si bajo (no si subió) 😊
Si quieres recibir notificaciones solo cuando baje, simplemente borra la automatización... No te engañes, no va a bajar...
Bromas (dolorosas) a parte, en el trigger puedes poner como condición cuando el valor sea menor que el que te interese. Si quieres que «cuando baje, sea cual sea el anterior, pero que ahora sea menor», te encontrarás con el problema que si ahora sube 20c y al rato baja 10, te avisará (aunque sigue 10c más caro).
Si aún así te interesa, una forma de hacerlo es con una condición tipo plantilla: {{ trigger.to_state.state | float < trigger.from_state.state | float }}
Le indicamos que el valor nuevo (to_state) tiene que ser menor que el valor viejo (from_state)
@@lachozadigitalperfecto voy a probar y te molesto si algo… la verdad quiero es hacer una notificación cuando el precio del dólar baje no cuando suba respecto a mi moneda. Pero con lo que me dices voy a revisar. Mil gracias. 🎉
Muy bueno el video. Muy útil. Gracias por todos los vídeos que haces. Tengo un problema con algún símbolo y me da error, podrías trascribir el comando , creo hice algo incorrecto.
¿A que comando te refieres exactamente?
@@lachozadigital A el comando para eliminar los valores que no sean números o punto. {{ value....
@@joaquinroyo Si es para el calcular el precio, sería {{ value | replace(",", ".") | regex_replace("[^0-9.]", "") }}
@@lachozadigital Es para sacar un valor de una sonda de humedad, de un programador de riego y el valor sale en la página web, quiero hacer alguna automatizacion con esos valores
@@joaquinroyo Inicialmente si consigues capturar el valor, esa plantilla debería valerte también, ya dependerá de como esté formateados los datos.
Recuerda que si la web requiere identificación de usuario y contraseña no servirá este sistema. Tendrías que mirar el vídeo de REST.
Miguel, mola tu estilo. Sabrías decirnos cada cuanto tiempo HA refresca la información?, no necesito saber cuando cambia (eso ya lo explicas muy bien) , solo cada cuanto tiempo la refresca. Gracias!!👍
Mejor todavía, podemos forzar que se actualice cada cierto tiempo?
Buenas tocayo. De forma automática se actualiza cada 10 minutos, pero puedes forzar su actualización usando el servicio homeassistant.update_entity
me parece brutal esta función, mira que llevo años con HA y desconocía de su existencia. Una pregunta, desde que se actualiza por ejemplo el precio del aceite hasta que se refresca en HA pasa mucho tiempo? tienes controlado lo que tarda? Enhorabuena por el video, muy bien explicado. saludosss
El componente se actualiza cada 10 minutos. Si se configura a mano desde el yaml se puede especificar el tiempo, supongo que añadirán en algún momento dicha opción también a la interfaz gráfica.
superinteresante!! gracias!!, que pena que no nos hayas mostrado como entrar a una web en la que debes logearte primero para ir al menú en cuestión. Se me ocurre webs que no ofrencen apis o integraciones como tal, pero que una vez logeado puedes ver datos.
Otra opcion buena sería programar una automatización en HA, o NodeRed, para que vaya a una web, se logeé, vaya a un menú y haga clic en un botón. ¿eso es mucho pedir no?
salu2
Bufs, eso no sería hacer un vídeo, sería un canal entero. Requiere conocimientos de programación y bastantes temas web (manejo de cookies, localización de campos, envío de formularios, codificación de datos....).
Si sale algún componente para controlar un navegador y grabar acciones (tipo Selenium), podría hacerse, de lo contrario, es más sencillo hacer un componente por web.
Exacto algo tipo Selenium! @@lachozadigital
Muy interesante, aunque los ejemplos me funcionan, cuando intento cargar lo que me interesa no funciona. Seguiré probando.
Esto es un scrapping sencillo. Funciona en webs que no tengan sistemas «anti scrapping», como pueden ser captchas invisibles y demás.
Puede ser que en Amazon esto no funcione? En otras páginas sin problemas pero Amazon no me va
Pues hace un tiempo lo usé sin problemas, pero ahora que lo has mencionado he vuelto probar y parece que han metido un CAPTCHA cuando detecta que la petición es «rara».
Cachis... Si encuentro un rato investigaré un poco como evitarlo, que Amazon es un caso muy interesante.
Hola, se podría hacer una consulta a web de esios para ver cuando el pvpc está por debajo de un precio kw/h y que nos avise. Si es asi podría ser un buen tema para un video.
Gracias por tu canal.
FELIZ AÑO
Como poder de puede, pero veo más sencillo usar la integración oficial con HA.
Ajustes, Dispositivo y Servicios, añadir y buscas PVPC.
Además en la actualización del próximo miércoles van a añadir un par de opciones extras.
En cuanto a hacer un vídeo sobre el tema, estoy esperando a que se aclare «bien bien» el tema del PVPC y la Indexada, porque a partir de mañana serán bastante diferentes.
Excelente video, muy útiles ejemplos. Gracias
Gracias por el vídeo. Genial!! cómo podría momonitorizar una web si lo que quiero ver es algo que aún está por publicar? en mi caso es ver la web de un ayuntamiento las nuevas convocatorias de empleo. No se qué selector poner. Muchas gracias de antemano. Muy buenos vídeos!!
Detectar algo «que ahora no está» es complicado. Seguramente tendrán un listado con las convocatorias actuales, algo muy sencillo es obtener el título de la última convocatoria, y cuando cambie, que te envíe una notificación con el nombre de la nueva.
Gracias por la respuesta. Probare a ver cómo lo soluciono en cualquier caso muchas gracias.
Buenos dias, ¿sabes si se puede hacer lo mismo de la web de Recarga Pública Iberdrola? sale un mapa de los puntos de recarga y me gustaria hacer un sensor para saber si un punto de carga esta libre o ocupado. Ya que la propia aplicacion no lo permite
Gracias
Buenas.
Para ese tipo de web este método no funciona, habría que usar el sistema REST, para el cual Home Assistant también tiene un componente.
Algo más complicado, pero también conseguimos mejores resultados. Lo apunto para un futuro vídeo de «Scraping 2» o algo así para mitad-finales de febrero.
@@lachozadigital te lo agradezco de verdad, el cargador siempre esta ocupado y no hay manera de pillarlo libre
Buenos días. Estaba pensando que podía usar este sistema para monitorizar. Sin mi conexión. Se cae. Haciendo una conexión por ejemplo a la página de Google, pero no he visto como cambiar la fecuencia de actualizacion de el web scrapping
Pensaba publicar el vídeo la semana que viene, pero venga, lo cambio por el de esta. Échale un ojo esta tarde ;)
@@lachozadigital que coincidencia 😅
Es que con las vacaciones, te vas de casa... Y te entra la paranoia...
PD: Respondiendo a tu pregunta. El scan interval como tal no lo tienes disponible en la interfaz gráfica, pero como alternativa puedes crear una automatización que llame al servicio homeassistant.update_entity indicándole la entidad del scrape y así actualizar al ritmo que quieras.
Mi gozo en un pozo. Ayer lo probé y obtenía todos los datos sin problema. Hoy ya no, aparece como desconocido. ¿Depende de cómo esté construida la página el que accedas al dato o no?. Gracias
Algunas webs cambian su estructura y el selector deja de funcionar, por lo que tienes que actualizarlo.
Otro tema puede ser que tenga algún captcha y tras varias peticiones te hayan «código manía»
Hola, he estado haciendo pruebas para comprobar la diferencia de precio en algunos hipermercados (en el aceite de oliva virgen extra lo de la diferencia es un sarcasmo, viva el oligopolio) y me pasa que no consigo sacar ningún precio de Mercadona. SI alguien lo ha conseguido le pido que indique cómo lo ha hecho. Gracias.
Mercadona usa un tipo de web llamado «one-page» dónde tu navegador va generando la web. Desgraciadamente ese sistema es bastante complejo de implementar con el componente Scrape, sería más bien con el componente REST, el cual es más complejo de utilizar pues debes tener conocimientos de APIs.
@@lachozadigital Me lo imaginaba, voy a ver si a través de Node Red lo consigo. Por probar que no quede. Muchas gracias.
Pues las pruebas no han tenido éxito, en Node Red saco los datos del precio de Día y Carrefour, como con Scrape, pero de Mercadona, na de na.
@@javierfernandez-ck1jw la única opción es «atacar» la API Rest, y seguramente tengas que hacer una petición inicial para enviar el código postal y recoger la cookie la cual tendrás que enviar las peticiones posteriores.
No lo veo especialmente trivial.
@@lachozadigital Gracias de nuevo. No me veo especialmente capacitado ni con ganas para meterme en ese embrollo. Por cierto, aprovechando tu amabilidad y tus conocimientos, tengo un esp32 que le metí el firmware de wled y en un determinado momento dejó de funcionar, el caso es que quise volver a intalar el firmware y cuando le pulso el botón boot no hace absolutamente nada por lo que no puedo cargar nada. ¿Sabes si existe alguna posibilidad de solucionarlo o el esp32 va directamente a la papelera?