ShopWorld
Вернуться ShopWorld > Торговля > Покупка / Продажа / Обмен / Услуги > Soft Private
 
Soft Private Тут продаем свой софт.


Ответ
 
Опции темы Опции просмотра
 
Старый 07.05.2018, 14:48   #21
A-Parser Support
Посетитель
 
Аватар для A-Parser Support
 
Регистрация: 16.06.2017
Сообщений: 24

Сказали спасибо: 0
1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS

[Ссылки могут видеть только зарегистрированные пользователи. ]



Улучшения
  • [Ссылки могут видеть только зарегистрированные пользователи. ] - многократно увеличена скорость парсинга
  • Множество улучшений в [Ссылки могут видеть только зарегистрированные пользователи. ]:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В [Ссылки могут видеть только зарегистрированные пользователи. ] добавлена опция Use sessions
  • В [Ссылки могут видеть только зарегистрированные пользователи. ] добавлена настройка пресета антигейта для логина
  • Также в [Ссылки могут видеть только зарегистрированные пользователи. ] удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг сниппетов в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • В [Ссылки могут видеть только зарегистрированные пользователи. ] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
  • Исправлен парсинг цен в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлена работа функции Remove bad accounts в парсерах Wordstat
  • [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ]
Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}
A-Parser Support вне форума  
Сказали 'Спасибо' за это сообщение.
Ответить с цитированием
Внимание посетители ShopWorld.biz
                                       У нас проводится Набор модераторов.
                                       Правила раздела: Покупка / Продажа / Обмен / Услуги
                                       Проверка ваших тем администрацией.(Раздел "Торговля")
                                       Пожелания по работе форума и Реклама на форуме.
                                       Советуем заглянуть вам в раздел Торговля и Статьи и обсуждение или World navigation
                                       Для связи с администрацией пишите в icq: 6506666 или в ЛС.
                                       Администрация не несет ответственности за причиненный вред пользователям и от других пользователей(пользуйтесь гарантом),
                                       Все материалы размещенные на сайте предоставленны в ознакомительных целях.
                                       Ап темы в разделе Покупка / Продажа / Обмен / Услуги раз в 5 дней, как апать тему читаем тут.
Старый 17.05.2018, 14:17   #22
A-Parser Support
Посетитель
 
Аватар для A-Parser Support
 
Регистрация: 16.06.2017
Сообщений: 24

Сказали спасибо: 0
Разгадывание рекаптч в JS парсере

Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

[Ссылки могут видеть только зарегистрированные пользователи. ]

В уроке рассмотрено:
  • Описание и настройка парсера [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
  • Тестирование работы ReCaptcha2: [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Статья и готовый парсер: [Ссылки могут видеть только зарегистрированные пользователи. ]

Оставляйте комментарии и [Ссылки могут видеть только зарегистрированные пользователи. ]
A-Parser Support вне форума  
Сказали 'Спасибо' за это сообщение.
Ответить с цитированием
Старый 28.05.2018, 15:31   #23
A-Parser Support
Посетитель
 
Аватар для A-Parser Support
 
Регистрация: 16.06.2017
Сообщений: 24

Сказали спасибо: 0
Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат

[Ссылки могут видеть только зарегистрированные пользователи. ]

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

[Ссылки могут видеть только зарегистрированные пользователи. ]

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


[Ссылки могут видеть только зарегистрированные пользователи. ]

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


[Ссылки могут видеть только зарегистрированные пользователи. ]

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:
  • [Ссылки могут видеть только зарегистрированные пользователи. ] - новый функционал по работе с сессиями
  • [Ссылки могут видеть только зарегистрированные пользователи. ] - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор
Еще больше различных рецептов в нашем [Ссылки могут видеть только зарегистрированные пользователи. ]!

Предлагайте ваши идеи для новых парсеров [Ссылки могут видеть только зарегистрированные пользователи. ], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки могут видеть только зарегистрированные пользователи. ] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки могут видеть только зарегистрированные пользователи. ].

Предыдущие сборники рецептов:
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ]
A-Parser Support вне форума  
Сказали 'Спасибо' за это сообщение.
Ответить с цитированием
Старый 11.06.2018, 13:39   #24
A-Parser Support
Посетитель
 
Аватар для A-Parser Support
 
Регистрация: 16.06.2017
Сообщений: 24

Сказали спасибо: 0
[Ссылки могут видеть только зарегистрированные пользователи. ]



Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Добавлен бан прокси при получении 403 кода ответа в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в мобильной версии [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлен парсинг количества результатов в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ], [Ссылки могут видеть только зарегистрированные пользователи. ]
Исправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлена работа с url, содержащими фрагмент # в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлен парсинг ссылок в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлена работа опции Pages count в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в [Ссылки могут видеть только зарегистрированные пользователи. ]
  • Исправлена ситуация, когда не читались настройки из config.txt
A-Parser Support вне форума  
Сказали 'Спасибо' за это сообщение.
Ответить с цитированием
Ответ

Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Вкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Rghost Parser -NegaTiV- Windows 1 09.03.2013 22:27
Японцев будут сажать на 2 года за скачивание пиратского контента -NegaTiV- Новости интернета 2 25.08.2012 00:56
Продам парсер Дешево! sergius Soft Private 1 30.11.2011 19:08
Продам: DIABLO PARSER Универсальный парсер логов ultra Soft Private 0 23.06.2011 16:19
HTC сообщила о значительном росте финансовых показателей †SHYLLER†™ Новости интернета 0 07.01.2011 03:03


Текущее время: 18:07. Часовой пояс GMT +5.

Автор ShopWorld: †SHYLLER†
Яндекс.Метрика