Не устаю благодарить автора за каждое видео которое появляется на канале. Считаю что без Power Query изучать DAX сложно. Прошу больше видео по этой теме, особенно объединение и слияние запросов. Сталкиваюсь с этим каждый день, и порой обновления занимает до 30 минут. Спасибо!!!
Ограничили до 100 строк, всё супер, а потом запрос сломался. А всё потому, что среди миллиона строк были некорректные значения, которые мы благополучно пропустили и никак их не обработали. Ожидал тут советы из серии, в каком формате должны быть данные, как кешировать результаты функции и тд, но никак не это.
Здравствуйте! Решение интересное, но бесполезное. Подскажите, а как это применить при автоматическом запросе к папке с файлами, данные из которых подтянуты в базу данных. Вопрос к автоматизации, а не вручную через редактор обновляться.
Приведенный пример слишком простой. Когда есть миллион строк и требуются простые обработки все работает достаточно быстро. Я обрабатываю 3 файла. Они однотипные, в них не очень много строк может несколько сотен или тысяч, но очень много листов (в том числе пустых), много столбцов, много сложных формул с вложенными ЕСЛИ. Естественно все это лишнее и является в основном следствием криворукости и низкой квалификации тех, кто создавал эти файлы, но это исходники, с ними ничего делать нельзя. При обработке этих файлов нужно сначала их объединить, убрать лишнее (листы, строки, столбцы и т.п.), чтобы на выходе получить примерно 700 строк с 10 столбцами. В процессе обработки некоторые операции (даже простая фильтрация) занимают до 10 минут! Комп достаточно мощный. Пробовали даже работать на сервере в котором мощностей более чем, но результат вообще не изменился! Для себя сделал вывод, что PQ хорош только на сравнительно простых файлах и простых функциях.
Не устаю благодарить автора за каждое видео которое появляется на канале. Считаю что без Power Query изучать DAX сложно. Прошу больше видео по этой теме, особенно объединение и слияние запросов. Сталкиваюсь с этим каждый день, и порой обновления занимает до 30 минут. Спасибо!!!
Станислав, очень рад, что контент Вам приносит пользу)) На счет Power Query - то да, видео по нему тоже буду снимать... не только про DAX буду вещать
Ограничили до 100 строк, всё супер, а потом запрос сломался. А всё потому, что среди миллиона строк были некорректные значения, которые мы благополучно пропустили и никак их не обработали. Ожидал тут советы из серии, в каком формате должны быть данные, как кешировать результаты функции и тд, но никак не это.
Большое спасибо за урок!
Так pq не только долго считает 1 млн строк, он ещё каждый раз их Загружает! 😮
Здравствуйте! Решение интересное, но бесполезное. Подскажите, а как это применить при автоматическом запросе к папке с файлами, данные из которых подтянуты в базу данных. Вопрос к автоматизации, а не вручную через редактор обновляться.
Думал, будут учить функции Table.Buffer...
Вот будет у вас лог на 50 гигов после удаления шага всё сдохнет
Приведенный пример слишком простой. Когда есть миллион строк и требуются простые обработки все работает достаточно быстро.
Я обрабатываю 3 файла. Они однотипные, в них не очень много строк может несколько сотен или тысяч, но очень много листов (в том числе пустых), много столбцов, много сложных формул с вложенными ЕСЛИ. Естественно все это лишнее и является в основном следствием криворукости и низкой квалификации тех, кто создавал эти файлы, но это исходники, с ними ничего делать нельзя.
При обработке этих файлов нужно сначала их объединить, убрать лишнее (листы, строки, столбцы и т.п.), чтобы на выходе получить примерно 700 строк с 10 столбцами. В процессе обработки некоторые операции (даже простая фильтрация) занимают до 10 минут! Комп достаточно мощный. Пробовали даже работать на сервере в котором мощностей более чем, но результат вообще не изменился! Для себя сделал вывод, что PQ хорош только на сравнительно простых файлах и простых функциях.
К сожалению не помогает. Даже с учетом ограничения, любое преобразование занимает 4-5 минут. Уже 72 часа потратил на тупое ожидание