Widget detection on screenshots using computer vision and machine learning algorithms

Kacper Radzikowski, Karol Chȩciński, Mateusz Forc, Łukasz Lepak, Michał Jabłoński, Wiktor Kuśmirek, Bartłomiej Twardowski, Paweł Wawrzyński, Robert M. Nowak

研究成果: Conference contribution

抄録

In this paper we consider the problem of detecting and recognizing widgets in screenshots of computer programs' graphical user interface (GUI). This problem is fundamental in business process automation. The solution we propose here is based on detecting GUI elements with Canny edge operator, and recognizing already detected GUI elements with classifiers: neural networks, random forests, XGBoost, and others.

本文言語English
ホスト出版物のタイトルPhotonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2019
編集者Ryszard S. Romaniuk, Maciej Linczuk
出版社SPIE
ISBN(電子版)9781510630659
DOI
出版ステータスPublished - 2019
外部発表はい
イベントPhotonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2019 - Wilga, Poland
継続期間: 2019 5 262019 6 2

出版物シリーズ

名前Proceedings of SPIE - The International Society for Optical Engineering
11176
ISSN(印刷版)0277-786X
ISSN(電子版)1996-756X

Conference

ConferencePhotonics Applications in Astronomy, Communications, Industry, and High-Energy Physics Experiments 2019
国/地域Poland
CityWilga
Period19/5/2619/6/2

ASJC Scopus subject areas

  • 電子材料、光学材料、および磁性材料
  • 凝縮系物理学
  • コンピュータ サイエンスの応用
  • 応用数学
  • 電子工学および電気工学

フィンガープリント

「Widget detection on screenshots using computer vision and machine learning algorithms」の研究トピックを掘り下げます。これらがまとまってユニークなフィンガープリントを構成します。

引用スタイル