علوم رایانش و فناوری اطلاعات

ارائه روشی متنی بر محتوا و جذابیت برای خلاصه سازی مجموعه تصاویر اجتماعی

نویسندگان

دانشکده مهندسی و علوم کامپیوتر، دانشگاه شهید بهشتی، تهران، ایران

چکیده

روش‌های خلاصه‌سازی تصویر امروزه به ابزاری مهم برای استفاده از مجموعه‌های تصویری بزرگ تبدیل شده‌اند. این روش‌ها مجموعه کوچکی از تصاویر را به‌عنوان نماینده از یک مجموعه بزرگ‌تر انتخاب می‌کنند. مطالعات جدید نشان داده‌اند که تصاویری که در روش‌های خلاصه‌سازی تصویر انتخاب می‌شوند باید از یک سو پوشش اطلاعاتی مناسبی از مجموعه اولیه فراهم کنند و از سوی دیگر معیارهایی مانند کیفیت و زیبایی تصاویر را در انتخاب تصاویر خلاصه مدنظر قرار دهند. با علم به این موارد، در این مقاله روشی خودکار برای خلاصه‌سازی مجموعه‌های تصویری با به کارگیری و مطالعه دو دسته ویژگی با عنوان ویژگی‌های محتوایی و ویژگی‌های جذابیت ارائه شده است. در روش پیشنهادی دو دسته ویژگیِ معرفی شده به‌طور خودکار و با استفاده از بستر شبکه‌های اجتماعی و هستان‌‌شناسی دامنه استخراج شده و تاثیرگذاری آنها در خلاصه‌سازی تصاویر با استفاده از بازخورد کاربران مدل می‌شود. خلاصه نهایی با ترکیب خلاصه ساخته ‌شده به‌وسیله دو دسته ویژگی به‌دست آورده می‌شود. نتایج روش پیشنهادی با تصاویر خلاصه‌ای که توسط گروهی از کاربران بر روی مجموعه‌ای از تصاویر انتخابی از فلیکر انجام ‌شده است مقایسه شده است. آزمایش‌ها نشان می‌دهد که روش پیشنهادی در مقایسه با روش‌های جاری خلاصه‌سازی تصویر توانسته است به بهبود سی و پنج درصدی پوشش اطلاعاتی در خلاصه کردن مجموعه تصویری به میزان یک درصد حجم اولیه و بهبود چهار درصدی پوشش اطلاعاتی در خلاصه کردن مجموعه تصویری به میزان پنج درصد حجم اولیه دست یابد. همچنین روش پیشنهادی توانسته است به بهبود سی و نه درصدی در ساختن خلاصه‌های شبیه خلاصه‌های دستی دست یابد.

کلیدواژه‌ها

  • [1] S. Tschiatschek, R. K. Iyer, H. Wei, and J. A. Bilmes, "Learning Mixtures of Submodular Functions for Image Collection Summarization," in Advances in Neural Information Processing Systems, 2014, pp. 1413-1421.
  • [2] Z. R. Samani and M. E. Moghaddam, "A knowledge-based semantic approach for image collection summarization," Multimedia Tools and Applications, pp. 1-23, 2016.
  • [3] I. a. S. Simon, Noah and Seitz, Steven M, "Scene summarization for online image collections," in IEEE 11th International Conference on Computer Vision(ICCV 2007), 2007, pp. 1-8.
  • [4] S. Rudinac, M. Larson, and A. Hanjalic, "Learning crowdsourced user preferences for visual summarization of image collections," Multimedia, IEEE Transactions on, vol. 15, pp. 1231-1243, 2013.
  • [5] C. Yang, J. Shen, J. Peng, and J. Fan, "Image collection summarization via dictionary learning for sparse representation," Pattern Recognition, vol. 46, pp. 948–961, 2013.
  • [6] M. Kardaani and M. E. Moghadam, "Attractive social image extraction based on users" social behaviors," in 2015 9th Iranian Conference on Machine Vision and Image Processing (MVIP), 2015, pp. 105-110.
  • [7] X. Shen and X. Tian, "Multi-modal and multi-scale photo collection summarization," Multimedia Tools and Applications, pp. 1-15, 2015.
  • [8] J. E. Camargo and F. A. González, "Multimodal latent topic analysis for image collection summarization," Information Sciences, vol. 328, pp. 270-287, 2016.
  • [9] Y. Jia, J. Wang, C. Zhang, and X.-S. Hua, "Finding image exemplars using fast sparse affinity propagation," in Proceedings of the 16th ACM international conference on Multimedia, 2008, pp. 639--642.
  • [10] D. J. Crandall, L. Backstrom, D. Huttenlocher, and J. Kleinberg, "Mapping the world"s photos," in Proceedings of the 18th international conference on World wide web, 2009, pp. 761--770.
  • [11] R. H. van Leuken, L. Garcia, X. Olivares, and R. van Zwol, "Visual diversification of image search results," in Proceedings of the 18th international conference on World wide web, 2009, pp. 341--350.
  • [12] J. a. G. Fan, Yuli, H. Luo, D. A. Keim, and Z. Li, "A novel approach to enable semantic and visual image summarization for exploratory image search," in Proceedings of the 1st ACM international conference on Multimedia information retrieval, 2008, pp. 358--365.
  • [13] Y. H. Yang, P. T. Wu, C. W. Lee, K. H. Lin, W. H. Hsu, and H. H. Chen, "ContextSeer: context search and recommendation at query time for shared consumer photos," in Proceedings of the 16th ACM international conference on Multimedia, 2008, pp. 199-208.
  • [14] Y. Jing and S. Baluja, "Visualrank:Applying pagerank to large-scale image search.," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 30, pp. 1877--1890, 2008.
  • [15] L. Yang, "Mining canonical views from internet image collections," Citeseer, 2011.
  • [16] J. Wang, L. Jia, and X.-S. Hua, "Interactive browsing via diversified visual summarization for image search results," Multimedia systems, vol. 17, pp. 379-391, 2011.
  • [17] D. Poole, Linear algebra: A modern introduction: Cengage Learning, 2014.
  • [18] A. Jaffe, M. Naaman, T. Tassa, and M. Davis, "Generating summaries and visualization for large collections of geo-referenced photographs," in Proceedings of the 8th ACM international workshop on Multimedia information retrieval, 2006, pp. 89--98.
  • [19] L. S. Kennedy and M. Naaman, "Generating diverse and representative image search results for landmarks," in Proceedings of the 17th international conference on World Wide Web, 2008, pp. 297--306.
  • [20] Y. Pang, Q. Hao, Y. Yuan, T. Hu, R. Cai, and L. Zhang, "Summarizing tourist destinations by mining user-generated travelogues and photos," Computer Vision and Image Understanding, vol. 115, pp. 352-363, 2011.
  • [21] J.-W. Jeong, H.-K. Hong, J.-U. Heu, I. Qasim, and D.-H. Lee, "Visual Summarization of the Social Image Collection Using Image Attractiveness Learned from Social Behaviors," Multimedia and Expo (ICME), 2012 IEEE International Conference on, pp. 538--543, 2012.
  • [22] S. Mei, G. Guan, Z. Wang, S. Wan, M. He, and D. D. Feng, "Video summarization via minimum sparse reconstruction," Pattern Recognition, vol. 48, pp. 522-533, 2015.
  • [23] S. U. Naci, U. Damnjanovic, B. Mansencal, J. Benois-Pineau, C. Kaes, M. Corvaglia, et al., "The COST292 experimental framework for rushes summarization task in TRECVID 2008," in Proceedings of the 2nd ACM TRECVID video summarization workshop, 2008, pp. 40-44.
  • [24] H. Fang, W. Lu, F. Wu, Y. Zhang, X. Shang, J. Shao, et al., "Topic aspect-oriented summarization via group selection," Neurocomputing, vol. 149, pp. 1613-1619, 2015.
  • [25] R. van Zwol, A. Rae, and L. Garcia Pueyo, "Prediction of favourite photos using social, visual, and textual signals," in Proceedings of the 18th ACM international conference on Multimedia, 2010, pp. 1015-1018.
  • [26] J. San Pedro and S. Siersdorfer, "Ranking and classifying attractiveness of photos in folksonomies," in Proceedings of the 18th international conference on World wide web, 2009, pp. 771-780.
  • [27] B. Geng, L. Yang, C. Xu, X.-S. Hua, and S. Li, "The role of attractiveness in web image search," in Proceedings of the 19th ACM international conference on Multimedia, 2011, pp. 63-72.
  • [28] Y. Ke, X. Tang, and F. Jing, "The design of high-level features for photo quality assessment," in Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on, 2006, pp. 419-426.
  • [29] R. Datta, D. Joshi, J. Li, and J. Wang, "Studying aesthetics in photographic images using a computational approach," Computer Vision–ECCV 2006, pp. 288-301, 2006.
  • [30] J. Itten, "The Art of Color: The Subjective Experience and Objective Rationale of Color (trans. Ernest van Haagen)," ed: New York: Reinhold Publishing Corporation, 1973.
  • [31] K.-Q. Huang, Q. Wang, and Z.-Y. Wu, "Natural color image enhancement and evaluation algorithm based on human visual system," Computer Vision and Image Understanding, vol. 103, pp. 52-63, 2006.
  • [32] S. Bhattacharya, R. Sukthankar, and M. Shah, "A framework for photo-quality assessment and enhancement based on visual aesthetics," in Proceedings of the 18th ACM international conference on Multimedia, 2010, pp. 271-280.
  • [33] Y. Luo and X. Tang, "Photo and video quality evaluation: Focusing on the subject," Computer Vision–ECCV 2008, pp. 386-399, 2008.
  • [34] J. Machajdik and A. Hanbury, "Affective image classification using features inspired by psychology and art theory," in Proceedings of the 18th ACM international conference on Multimedia, 2010, pp. 83-92.
  • [35] W. Wei-ning, Y. Ying-lin, and J. Sheng-ming, "Image retrieval by emotional semantics: A study of emotional space and feature extraction," in Systems, Man and Cybernetics, 2006. SMC"06. IEEE International Conference on, 2006, pp. 3534-3539.
  • [36] Z. Abdollahpour, Z. R. Samani, and M. E. Moghaddam, "Image classification using ontology based improved visual words," in 2015 23rd Iranian Conference on Electrical Engineering, 2015, pp. 694-698.
  • [37] K. Järvelin and J. Kekäläinen, "Cumulated gain-based evaluation of IR techniques," ACM Transactions on Information Systems (TOIS), vol. 20, pp. 422-446, 2002.
  • [38] C.-Y. Lin, "Rouge: A package for automatic evaluation of summaries," in Text summarization branches out: Proceedings of the ACL-04 workshop, 2004.
  • [39] Y. Li and B. Merialdo, "VERT: automatic evaluation of video summaries," in Proceedings of the international conference on Multimedia, 2010, pp. 851--854.
علوم رایانش و فناوری اطلاعات
دوره 15، شماره 2
پاییز و زمستان
آذر 1396