Новые информационные технологии: коллаборативные биржи данных и цифровые двойники
Реализация принципов гибридного моделирования предусматривает обращение к данным из разных источников, в том числе составляющих банковскую или коммерческую тайну провайдеров услуг и сервисов. Совместная работа с такими источниками данных требует специализированного промежуточного программного обеспечения — коллаборативных бирж больших данных (КББД). Оно реализует модель, при которой несколько равноправных поставщиков данных (банк, ретейлер, авиаперевозчик и пр.) используют массивы больших данных совместно, но для решения собственных задач, в частности для поддержки принятия решений по управлению финансовыми бизнес-процессами. При этом передача сырых данных между поставщиками не производится; вся обработка ведется программной надстройкой над хранилищами данных поставщиков, обеспечивающей бесшовную интеграцию вычислительных процессов с минимизацией передачи самих данных в условиях приемлемого времени расчетов (ограничиваемого бизнес-процессами самих потребителей). Такая модель порождает новые требования к технической инфраструктуре, одновременно меняя сам подход к обработке и анализу данных, делая его распределенным. При этом доверительность взаимоотношений между поставщиками регулируется с помощью механизмов блокчейна, обеспечивающих регистрацию всех фактов использования и перемещения данных. В работе технология КББД описана применительно к задачам сетевого ретейла.
Впрочем, сами по себе данные не являются достаточными для выполнения задач поддержки принятия решений без применения соответствующих моделей на их основе. Это делает полезным использование в ФИТ концепции цифровых двойников — совокупности данных и математических моделей, описывающих жизненный цикл конкретного объекта или изделия. Изначально введенное для технических объектов, понятие цифрового двойника остается справедливым в отношении любого участника финансового рынка, однако для физических лиц (клиентов) трансформируется в понятие цифровой личности, или персоны. Учитывая, что в современном мире подавляющее большинство людей оставляет свои цифровые следы (мобильная связь, социальные медиа, платежи и пр.), сбор, агрегация и структурирование таких данных относятся скорее к техническим вопросам. Но сама цифровая личность, построенная на их основе, может быть использована в разных аспектах. Например, в виде «бытовой» цифровой персоны, ассоциированной с конкретным клиентом банка при реализации стратегии управления жизненным циклом. Или в виде полностью синтетической личности на основе агрегации данных о множестве разных людей, необходимой для тестирования новых финансовых сервисов или цифровых ассистентов. А также в виде цифрового общества — набора взаимодействующих цифровых личностей, влияющих на финансовое поведение друг друга. В работе рассмотрено подобное цифровое общество на примере тематической группы крупного отечественного банка.
Таким образом, активное развитие технологий больших данных, предсказательного моделирования и прикладного искусственного интеллекта обеспечивает новый толчок развития финансовых информационных технологий, позволяя не только автоматизировать существующие бизнес-процессы, но и порождать новые, соответствующие логике глобальной цифровой трансформации как финансовой сферы, так и смежных с ней областей.
В работе использованы
материалы, подготовленные
в рамках проекта РНФ №17-71-30029.
IT-тренды 2022 года
Большая часть трендов — это стремления компаний адаптироваться к новым условиям. Но многие тенденции 2022-го в сфере IT-технологий возникли еще раньше.
️ Импортозамещение. Когда ушли западные компании типа Microsoft, IBM, SAP, Oracle, разработка собственных IT-продуктов стала необходимостью. Для отечественных компаний это и вызов, и возможность занять освободившуюся нишу. Уже в марте спрос на российский софт увеличился на 300% по сравнению с тем же периодом прошлого года.
Тенденция к импортозамещению возникла не сегодня. Например, российская компания OCS Distribution еще в 2020 году начала производство компьютеров, серверов, систем хранения данных, сетевого оборудования. Тот, кто сумел вовремя поймать эту волну, сейчас в выигрыше.
️ Повышение спроса на продукты Low-Code. Это технология, чтобы самостоятельно разрабатывать цифровые продукты без навыков программирования. Решения на базе Low-Code были нужны и до кризиса, но теперь становятся еще популярнее. Потому что разработка стала дороже и кадров не хватает. Бизнесу нужны приложения, которые требуют минимума усилий.
Low-Code — не предел: будет расти рынок бескодовых платформ. Можно будет создавать IT-продукты вообще без программистов. Они работают по принципу конструктора, содержат визуальные шаблоны. Типичный пример — сервис Tilda.
️ Рост популярности облачных сервисов. Пандемия коронавируса и перевод сотрудников на удаленку ускорили цифровой прогресс. Бизнес увидел плюсы облачных решений. Они позволяют не только экономить на инфраструктуре, но и масштабировать продукты, хранить и обрабатывать неограниченный объем данных. С помощью облаков можно реализовать проекты на основе искусственного интеллекта и других прорывных технологий.
Еще одним трендом года, , станут микросервисные решения на базе облачных технологий (Cloud-Native).
️ Востребованность аналитики Big Data. Анализ больших данных будет актуален для бизнес-задач. Технологии Big Data помогают в маркетинге и рекламе, продажах, производстве, медицине, финансовом секторе и прочих отраслях экономики. PwC и ABBYY выявили, что к 2024 году половина российских компаний планирует внедрить процессную аналитику — глубокий анализ на основе Big Data. Уже сейчас ее активно используют банки и нефтегазовый сектор.
️ Популярность решений на базе искусственного интеллекта. По прогнозам IDC, в 2022 году интерес к ИИ станет еще более практическим. Решения на базе искусственного интеллекта востребованы, например, в медицине — в диагностике заболеваний и разработке лекарств.
️ Рост вложений в информационную безопасность. В коронавирусные 2020–2021 годы российский бизнес накрыла волна мощнейших DDoS-атак — масштабных хакерских атак на информационные системы. Сильнее всего пострадали банки и ретейл. Резко вырос спрос на решения в области кибербезопасности. , что этот тренд продолжится. Бизнесу и госсектору сейчас нужны комплексные решения от одного разработчика.
️ Расширение рынка консалтинга. Западные поставщики ушли с рынка — и компаниям нужно приспосабливаться к новым условиям, а это невозможно без помощи IT-консультантов. Востребованы аудит инфраструктуры, управление IT-активами, архитектурный консалтинг. В ближайшие несколько лет этот рынок будет увеличиваться на 4–5% в год.
️ Государственная поддержка IT-сферы. Приоритет государства — сделать IT-сферу независимой от западных поставщиков. Кроме программы импортозамещения правительство принимает меры поддержки специалистов.
IT-компании и их сотрудники могут получать гранты на разработки, рассчитывать на льготные кредиты. Их освободят от налоговых и валютных проверок — до конца 2024 года не придется платить налог на прибыль. Персоналу повысят зарплату и предоставят возможность улучшить жилищные условия. Молодым сотрудникам дадут отсрочку от армии.
Многомасштабность и многосвязность финансовой среды
Теоретически возможное желание построить полную модель финансовой системы с участием различных категорий участников (от физических лиц до регуляторов государственного уровня) разбивается об объективное отсутствие данных, необходимых для формализации отношений и характеристик всех участников процесса в рамках гибридного моделирования. Разумным выходом в данной ситуации, наследуемым из вычислительной физики, становится применение принципа многомасштабности, описывающего изменчивость финансовых процессов в различных временных диапазонах (уровнях) набором математических моделей, связанных между собой параметрически. На каждом уровне существуют свои связи между отдельными участниками. Потому, например, финансовая система может быть описана моделью многослойной комплексной сети, узлами на каждом уровне которой являются субъекты финансовых процессов, а связи между ними отражают текущие операции на трех разных уровнях. На индивидуальном, микроуровне модель описывает взаимосвязь финансовых операций, активности и предпочтений самого субъекта (например, физического лица) в условиях информационного обмена с внешней средой. На мезоуровне формализуются связи между различными участниками — субъектами финансового рынка (клиенты одного банка, сообщество банков и т. д., юридические лица — работодатели) и пр. На макроуровне рассматривается сетевая среда участников финансовых рынков, чья активность определяется макроэкономическими закономерностями. В качестве иллюстрации на рис. 1 приведено изображение сети межбанковского кредитования, полученное в ходе моделирования развития кризисной ситуации. Каждый из банков имеет связи, определяющие наличие финансовых отношений, с юридическими лицами (бизнес-структурами) и физическими лицами (клиентами), которые также могут иметь свои связи с бизнес-структурами как с работодателями или провайдерами сервисов. В работе такая модель рассмотрена в применении к задаче моделирования сценариев эволюции банковской системы, в том числе в условиях кризиса.
Рис. 1. Моделирование каскадов дефолтов в межбанковских сетях (в правой части представлено изображение сети межбанковского кредитования с микро- и мезоуровнями, в левой части — эволюция агрегированных характеристик сети при распространении дефолтов)
Для чего нужно знать компьютерные науки
Computer Science рассказывает, как устроены компьютерные системы, как в них представляется, хранится и передается информация, по какой логике они работают, — это помогает программировать эффективнее. С такими знаниями можно более результативно применять те или иные решения, решать более сложные задачи, избегать ошибок.
Существуют области, где понимание компьютерных наук нужно с самого начала. Это, например, системное администрирование или Data Science. Первое напрямую связано с инженерией, второе — с математикой и наукой о данных. Без понимания CS просто не получится усвоить теорию: она основана на информатике. Сюда же относится низкоуровневое программирование, близкое к «железной» части компьютеров.
Computer Science — это база, на которой строятся теоретические знания. С ней человек лучше понимает, что делает, быстрее учится и растет в профессиональном плане.
Андрей Петрович Ершов
Академик АН СССР. Создатель термина «информатика». Впервые предложил ряд понятий, подходов и методов, которые стали классическими в теории компиляции.
Язык программирования АЛЬФА и оптимизирующий Альфа-транслятор, многоязыковая система программирования БЕТА, первая советская система разделения времени АИСТ-0, система учебной информатики Школьница, система подготовки печатных изданий Рубин, многопроцессорная рабочая станция МРАМОР – все эти проекты были инициированы Ершовым и выполнялись под его руководством. Он ввел в научный оборот термин «информатика» для обозначения науки, связанной со способами обработки, хранения и передачи информации с помощью ЭВМ.
Книга Андрея Ершова «Программирующая программа для электронной вычислительной машины БЭСМ», изданная в 1958 году, стала одной из первых в мире монографий по автоматизации программирования. Он был первопроходцем на ниве компиляции (его «программирующие программы» — это фактически компиляторы). Ершов занимался смешанными вычислениями: тем, что сейчас называется «суперкомпиляция». Ему принадлежит идея о сведении задачи распределения регистров к раскраске графа — то есть к той форме, которая используется в большинстве оптимизирующих компиляторов сегодня.
В 1960-е годы Ершов вместе с коллегами начал эксперименты по преподаванию программирования школьникам, что привело к созданию государственной программы по введению курса информатики и вычислительной техники в средние школы.
В 1974 году Андрея Ершова избрали Выдающимся членом Британского вычислительного общества (British Computer Society). В 1980 году за значительный вклад в работу Международной федерации по обработке информации (IFIP) он был награжден Почетным знаком IFIP «Серебряный сердечник (Silver Core)».
Образование
Информатика, известная его близкие синонимы, Вычислительная техника, Компьютерные исследования, Информационные технологии (IT) и Информационные и вычислительные технологии (ICT), преподавались в школах Великобритании со времен пакетной обработки, маркировать чувствительные карточки и бумажную ленту, но обычно для нескольких избранных учеников. В 1981 году BBC выпустила микрокомпьютер и классную сеть, и компьютерные исследования стали обычным явлением для студентов GCE O уровня (11–16 лет). и информатика для студентов уровня
Его важность была признана, и он стал обязательной частью Национальной учебной программы для ключевых этапов 3 и 4. В сентябре 2014 года он стал правом для всех учеников старше 4 лет
В США, где 14 000 школьных округов определяли учебную программу, условия были нарушены. Согласно отчету 2010 года Ассоциации вычислительной техники (ACM) и Ассоциации учителей информатики (CSTA), только 14 из 50 штатов принимают важные образовательные стандарты для информатики в старших классах.
Израиль, Новая Зеландия и Южная Корея включили информатику в свои национальные учебные программы для средних школ, а некоторые другие страны следуют.
References[edit]
- ^ a b Wood, Helen: «Computer Society Celebrates 50 Years,» IEEE Annals of the History of Computing, 17(4):6, 1996
- ^ IEEE Computer Society Constitution & Bylaws, art. 1, Sec. 2, 1971
- ^ a b «About the IEEE Computer Society». IEEE Computer Society. Retrieved 30 August 2011.
- ^ Weiss, Eric A., «Institute of Electrical and Electronics Engineers—Computer Society (IEEE-CS),» Encyclopedia of Computer Science, 4th ed., John Wiley & Sons, 2003, p. 881–882
- ^ «Professional Chapters». IEEE Computer Society. Retrieved 2 September 2011.
- ^ Concordia, Charles: «In the Beginning There Was the AIEE Committee on Computing Devices,» Computer, 9(12):42–44 December 1976
- ^ Astrahan, Morton M., «In the Beginning There Was the IRE Professional Group on Electronic Computers,» Computer, 9(12):43–44, December 1976
- ^ Weiss, Eric A., «Institute of Electrical and Electronics Engineers—Computer Society (IEEE-CS),» Encyclopedia of Computer Science, 4th ed., John Wiley & Sons, 2003, p. 881
- ^ «IEEE Computer Society Offices». IEEE Computer Society. Retrieved 30 August 2011.
- ^ IEEE Computer Society Bylaws, Article VI–XII, 2011
- ^ «Computing Curriculum: Computer Science 2013 (CS2013)». ACM/IEEE-CS Joint Task Force. Retrieved 2 September 2011.
- ^ «Professional and Educational Activities Board». IEEE Computer Society. Retrieved 2 September 2011.
- ^ «e-Learning Campus». IEEE Computer Society. Retrieved 2 September 2011.
- ^ Weiss, Eric A., «Institute of Electrical and Electronics Engineers—Computer Society (IEEE-CS),» Encyclopedia of Computer Science, 4th ed., Nature Publishing Group, 2000, p. 882–883
- ^ «IEEE Computer Society Publications». IEEE Computer Society. Retrieved 30 August 2011.
- ^ «Digital Library». IEEE Computer Society.
- ^ «IEEE Computer Society Introduces Computing Edge». 1888pressrelease.com. Retrieved 4 April 2015.
- ^ «Conference Calendar». IEEE Computer Society. Retrieved 2 September 2011.
- ^ «Technical Activities». IEEE Computer Society. Retrieved 30 August 2011.
- ^ «Standards Activities Board». IEEE Computer Society. Retrieved 2 September 2011.
- ^ Dejan S. Milojicic, Phil Laplante, «Special Technical Communities,» IEEE Computer, vol. 44, no. 6, pp. 84-88, June, 2011.
- ^ IEEE CS STC Web site
- ^ Technical Committees of IEEE-CS
- ^ TCVLSI
- ^ Technical Committee on VLSI
- ^ Technical Committees & Councils, IEEE-CS
- ^ Societies & Communities
- ^ Memberships and Subscriptions Catalog — VLSI, IEEE Computer Society Technical Committee
- ^ TCVLSI Charter
- ^ VLSI Circuits and Systems Letter, TCVLSI
- ^ Anirban Sengupta
- ^ Saraju P. Mohanty
- ^ Joseph Cavallaro, Rice University
- ^ Vijaykrishnan Narayanan, Pennsylvania State University
- ^ Nagarajan Ranganathan, University of South Florida
- ^ Amar Mukherjee, University of Central Florida
- ^ TCVLSI IEEE-CS Awards
- ^ ARITH
- ^ ARITH 28
- ^ ARITH 27
- ^ ARITH 26
- ^ ASAP
- ^ ASAP 2020
- ^ ASAP 2019
- ^ ASAP 2018
- ^ ASYNC
- ^ ASYNC 2020
- ^ ASYNC 2019
- ^ iSES
- ^ ISVLSI
- ^ IWLS
- ^ IWLS 2020
- ^ IWLS 2019
- ^ MSE
- ^ SLIP
- ^ ECMSM
- ^ ECMSM 2019
- ^ ACSD 2018
- ^ VLSID
- ^ IEEE Visualization and Graphics Technical Committee, http://www.vgtc.org/about-us
- ^ Technical Committees & Councils, IEEE-CS, http://www.computer.org/web/tandc/technical-committees
- ^ «IEEE Computer Society Awards». IEEE Computer Society. Retrieved 2 September 2011.
Меры поддержки отрасли
Правительство предпринимает меры по поддержке ИТ-отрасли. Первый пакет мер поддержки был утвержден летом 2020 г. Им предусмотрено снижение налога на прибыль с 20% до 3%, снижение ставки страховых взносов с 14% до 7,6% и освобождение от НДС разработчиков ПО, внесенного в Единый реестр российских программ для электронных вычислительных машин и баз данных.
В сентябре 2021 г. был утвержден второй пакет в составе более 60 мер поддержки, направленных на поддержку цифровой трансформации госкомпаний, развитие российского ПО и микроэлектроники, усиление информационной безопасности, правовую защиту ИТ-бизнеса, привлечение в страну ИТ-специалистов, поддержку ИТ-экспорта, обучение цифровой грамотности и многое другое.
Третьим пакетом предусмотрены налоговые льготы: налог на прибыль до 2025 года – 0%, далее – 3%; тарифы страховых взносов – 7,6%. Также поручением президента от 2 марта 2022 г. разработаны срочные меры: грантовая поддержка ИТ-проектов, кредиты по ставке не выше 3% на реализацию новых проектов, освобождение от государственного надзора на срок до 3 лет, упрощение процедур трудоустройства иностранных граждан, упрощение порядка госзакупок ИТ-продукции. Кроме того, предлагается установить минимальную ставку по ипотеке для работников ИТ-компаний, дать им отсрочку от военного призыва и освободить от НДФЛ.
Уже в конце апреля на организованной CNews Conferences конференции «Импортозамещение 2022» были представлены отечественные аналоги большинства западных решений. Российские вендоры говорили о росте интереса заказчиков к их продуктам и надеялись на скорый старт новых проектов. «2022 год станет годом ускоренного импортозамещения, особенно в госсекторе, — уверен Игорь Калганов. — Освободившиеся ниши и множество преференций от государства дают российским ИТ-компаниям и разработчикам уникальный шанс сделать быстрый рывок и удовлетворить многократно выросший рыночный спрос на отечественные ИТ-продукты и услуги».
«Рынок будет бороться с потрясениями, связанными со сбоями в цепочках поставок вычислительной техники и ПО в областях, где не прошло импортозамещение, но в целом тенденции останутся прежними. У государственных заказчиков, госкорпораций и коммерческих структур устойчиво растет потребность в построении гибких облачных инфраструктур и приложений», — говорит Вадим Злобин. «Мы снова строим свой мир. И, знаете, даже не с нуля, потому что развод с прежними партнерами не обнуляет огромное количество компетенций, накопленных за годы работы», — говорит Анна Чернякова.
Очевидно, что текущий год будет непростым для российского рынка в целом и ИТ-рынка в частности. Однако бизнес настроен решительно, и при поддержке государства 2022 г. может стать годом бурного развития отечественной отрасли высоких технологий и появления зрелых решений.
Структуры данных и Алгоритмы
- CS 61B — Data Structures, UC Berkeley
- MOOC — Design and Analysis of Algorithms Part 1 — Prof Roughgarden — Coursera (Part 2)
- MOOC — Algorithms Part 1 — Prof Sedgewick (Part 2)
- COP 3530 Data Structures and Algorithms, Prof Sahni, UFL (Videos)
- CS2: Data Structures and Algorithms — Richard Buckland — UNSW
- 6.006 — Introduction to Algorithms, MIT OCW
- CS 161 — Design and Analysis of Algorithms, Prof. Tim Roughgarden, Stanford University
- CSE 373 — Analysis of Algorithms, Stony Brook — Prof Skiena
- CS16 Introduction to Algorithms and Data Structures — Brown University
- 6.046J — Introduction to Algorithms — Fall 2005, MIT OCW
- 6.046 — Design and Analysis of Algorithms, Весна 2015 — MIT OCW
- CS 473: Algorithms — University of Illinois at Urbana-Champaign
- Programming Challenges — Prof Skiena
- 16s-4102 — Algorithms, University of Virginia (Youtube)
- CS 170 Algorithms — Весна 2015 — UCBerkeley
- COP 5536 Advanced Data Structures, Prof Sahni — UFL (Videos)
- CS 261 — A Second Course in Algorithms, Stanford University (Lectures) (Youtube)
- CS 224 — Advanced Algorithms, Harvard University (Lecture Videos) (Youtube)
- ECS 122A — Algorithm Design and Analysis, UC Davis
- CSEP 521: Applied Algorithms, Winter 2013 — University of Washington (Videos)
- CS 6150 — Advanced Algorithms (Fall 2016), University of Utah
- ECS 222A — Graduate Level Algorithm Design and Analysis, UC Davis
- 6.851 — Advanced Data Structures, MIT (MIT OCW)
- 6.854 — Advanced Algorithms, MIT (Prof. Karger lectures)
- CS264 Beyond Worst-Case Analysis, Fall 2014 — Tim Roughgarden Lecture (Youtube)
- CS364A Algorithmic Game Theory, Fall 2013 — Tim Roughgarden Lectures
- CS364B Advanced Mechanism Design, Winter 2014 — Tim Roughgarden Lectures
- Algorithms — Aduni
- Advanced Topics in Algorithms and Datastructures — SS 2005 — Universität Freiburg
- Algorithmentheorie/Algorithms Theory — WS 2013 — Universität Freiburg (WS 2011)
- Theory I — SS 2010 — Universität Freiburg
- CS225 — Data Structures — University of Illinois at Urbana-Champaign
Машинное обучение
Introduction to Machine Learning
- MOOC Machine Learning Andrew Ng — Coursera/Stanford (Notes)
- MOOC — Statistical Learning, Stanford University
- CS 156 — Learning from Data, Caltech
- 10-601 — Introduction to Machine Learning (MS), Carnegie Mellon University
- 10-701 — Introduction to Machine Learning (PhD) — Tom Mitchell, Spring 2011, Carnegie Mellon University (Fall 2014)
- Microsoft Research — Machine Learning Course
- CS 446 — Machine Learning, Fall 2016, UIUC(Fall 2015 Lectures)
- undergraduate machine learning at UBC 2012, Nando de Freitas
- CS 229 — Machine Learning — Stanford University
- CS 189/289A Introduction to Machine Learning, Prof Jonathan Shewchuk — UCBerkeley
- CS 5350/6350 — Machine Learning, Fall 2016, University of Utah
- ECE 5984 Introduction to Machine Learning, Spring 2015 — Virginia Tech
- STA 4273H (Winter 2015): Large Scale Machine Learning
- CS 485/685 Machine Learning, Shai Ben-David, University of Waterloo
- Machine Learning and Data Mining — WS 2004 — Universität Freiburg
Data Mining
- CSEP 546, Data Mining — Pedro Domingos, Sp 2016 — University of Washington (YouTube)
- CS 5140/6140 — Data Mining, Spring 2016, University of Utah (Youtube)
- CS 5955/6955 — Data Mining, University of Utah (YouTube)
- Statistical Aspects of Data Mining (Stats 202) — Google
- MOOC — Text Mining and Analytics by ChengXiang Zhai
- Information Retrieval SS 2014, iTunes — HPI
- MOOC — Data Mining with Weka
- CS 290 DataMining Lectures
- CS246 — Mining Massive Data Sets, Winter 2016, Stanford University (YouTube)
Probabilistic Graphical Modeling
- CS 6190 — Probabilistic Modeling, Spring 2016, University of Utah
- 10-708 — Probabilistic Graphical Models, Carnegie Mellon University
- Probabilistic Graphical Models, Daphne Koller, Stanford University
Deep Learning
- Deep learning at Oxford 2015 — Nando de Freitas
- DS-GA 1008 — Deep Learning, New York University
- Deep Learning, Stanford University
- Deep Learning — University of Waterloo
Advanced Machine Learning
- Machine Learning 2013 — Nando de Freitas, UBC
- Machine Learning: 2014-2015, University of Oxford
- 10-702/36-702 — Statistical Machine Learning — Larry Wasserman, Spring 2016, CMU (Spring 2015)
- 10-715 Advanced Introduction to Machine Learning — CMU (YouTube)
Natural Language Processing and Computer Vision
- CS 224d — Deep Learning for Natural Language Processing, Stanford University (Lectures — Youtube)
- CS 224N — Natural Language Processing, Stanford University
- MOOC: Natural Language Processing, Dan Jurafsky & Chris Manning — Coursera
- MOOC — Natural Language Processing — Coursera, University of Michigan
- CS 231n — Convolutional Neural Networks for Visual Recognition, Stanford University
- Machine Learning for Computer Vision — TUM
Misc Machine Learning Topics
- CS 6955 — Clustering, Spring 2015, University of Utah
- Info 290 — Analyzing Big Data with Twitter, UC Berkeley school of information
- 10-725 Convex Optimization: Spring 2015 — CMU
- 10-801 Advanced Optimization and Randomized Algorithms
- CS 229r — Algorithms for Big Data, Harvard University (Youtube)
- CAM 383M — Statistical and Discrete Methods for Scientific Computing, University of Texas
- Statistical Learning- Classification — University of Waterloo
- 9.520 — Statistical Learning Theory and Applications, Fall 2015 — MIT
- Reinforcement Learning — UCL
Изменения на рынке труда
Стоит ли учиться на программистаВ работе программиста много плюсов, но важно правильно выбрать язык и сферу. Кадровый дефицит
С одной стороны, зарубежные компании ушли, рабочих мест стало меньше — и нужно меньше специалистов. С другой — профессионалы тоже уезжают из страны, поэтому специалисты без работы не останутся
Кадровый дефицит. С одной стороны, зарубежные компании ушли, рабочих мест стало меньше — и нужно меньше специалистов. С другой — профессионалы тоже уезжают из страны, поэтому специалисты без работы не останутся.
Больше карьерных возможностей для специалистов из регионов. Тенденция к переходу на удаленную работу в IT-сфере наметилась еще в пандемию. Этот тренд укрепится и дальше. Для сотрудников из провинции удаленка — это шанс получать столичную зарплату без переезда.
Потребность в переквалификации. Чтобы успевать за запросами рынка, приходится быстро переучиваться. В первую очередь сейчас нужны навыки работы с импортозамещающим ПО и оборудованием. Большой спрос на специалистов по кибербезопасности, анализу данных, data science, облачным вычислениям. По-прежнему нужны разработчики и тестировщики.
Освойте востребованную специальность на курсах Skypro: аналитик данных, программист на Java или Python, инженер по тестированию. Опыт не нужен: учим с нуля. Получите актуальные знания, так как программу составляли с учетом требований к сотням вакансий. Преподаватели — практики: работают много лет в крупных компаниях.
Не просто выдаем диплом, но и помогаем с устройством на работу: портфолио, резюме и собеседованиями.
Развитие образовательных проектов. Благодаря спросу на новые навыки появилось много программ переподготовки. Учебные заведения и IT-компании предлагают курсы как для опытных специалистов, так и для новичков.
Минцифры России участвует в финансировании проекта «Цифровые профессии» — вы можете получить востребованную специальность за половину стоимости. Правительство в два раза увеличило количество бюджетных мест в вузах по IT-направлениям.
Вебинары
20−21 декабря 18:00 мск
Изучаем лучшие профессии для фриланса в 2023
21–22 декабря 16:00 мск
Как стать аналитиком и сделать карьеру в крупной IT-компании
Устойчивые стратегии и проактивность
Логика «жадных решений», обеспечивающая максимальную выгоду за короткое время, далеко не всегда бывает эффективной стратегически. Соответственно, интерес представляют критерии и целевые функции для оптимизации финансовых процессов, направленных на длительную работу клиентов таким образом, чтобы обеспечить его финансовую устойчивость и увеличить лояльность к конкретной финансовой организации. Как правило, это обеспечивается проектированием индивидуальных финансовых продуктов под конкретные характеристики клиента, обеспечивающих гибкую подстройку под его текущее состояние. Таким образом, задача оптимизации доходов банка решается интегрально за интервал времени лояльности клиента за счет механизмов управления его рисками (например, персонализации кредитных условий). На рис. 4 приведена иллюстрация этого принципа на примере совмещения персонифицированной скоринговой модели заемщика и модели доходности банка. Основная идея такого подхода состоит в том, что оптимизация доходности банка должна происходить динамически с учетом лояльности каждого конкретного клиента. При этом стратегия привлечения нелояльных клиентов за счет более выгодных предложений сама по себе обеспечивает повышение лояльности клиента и возможность потенциального увеличения доходности в будущем.
Рис. 4. Стратегия оптимизации персональной сделки между банком и заемщиком
Переход к персонифицированным финансовым продуктам открывает широкие возможности для их проактивного продвижения, основываясь на потенциальных предпочтениях клиента и принимая в расчет актуальность времени и места. Это относится как к самим банковским сервисам (к примеру, своевременно предложенный автокредит), так и к коллаборативным сервисам (например, персональной скидке у определенного провайдера товаров или услуг, обслуживаемого банком). Для этого принципиальным является моделирование не только поведенческой, но и мотивационной составляющей, отражающей процесс формирования и реализацию человеком своих планов, в том числе с использованием формализма BDIAR (Believes, Desires, Intensions, Actions, Reactions). Подобные модели позволяют заранее идентифицировать потребительские планы клиентов, как на транзакционных, так и на открытых, «бытовых» данных социальных сетей. В качестве иллюстрации на рис. 5 приведен пример кластеров потребительской активности клиента на карте Санкт-Петербурга, идентифицированных по комбинации платежных данных и данных открытых источников (для поиска кластеров применен алгоритм пространственной кластеризации DBSCAN).
Рис. 5. Визуализация зон потребительской активности клиента (цифрами отмечены номера кластеров, иконками — различные типы трат (продукты, одежда, банкоматы), а также геолокации по данным социальных сетей)
Финансовое поведение как предмет моделирования
Агрегированные финансовые данные на макро- и мезоуровнях могут обеспечить качественный диагноз ситуации; однако наиболее гибким и удобным для управления финансовыми бизнес-процессами традиционно считается микроуровень, учитывающий индивидуальные особенности физических и юридических лиц — клиентов банков. А потому задача принятия решений тесно связана с прогнозированием финансового поведения на основе моделей, соединяющих конкретные действия клиента (например, заем и возврат кредита, осуществление покупки, посещение офиса банка) с его индивидуальными особенностями и текущим влиянием внешних факторов. При этом в настоящий момент уже не представляют научно-практического интереса технологии, просто имитирующие деятельность экспертов (к примеру, банковских андерайтеров, оценивающих кредитоспособность конкретного человека по набору объективных данных). Напротив, становятся востребованными решения, находящиеся за пределом экспертного восприятия и позволяющие предсказать действия клиента на основе агрегации не столь очевидных данных его индивидуального финансового поведения в динамике. Так, использование данных о динамике транзакционной активности по картам одного из крупных отечественных банков для прогноза просрочки по кредитам позволило на ~30% улучшить результат по сравнению с получаемым экспертно . При этом кажущаяся небольшой доля улучшения в данной ситуации характерна для задач кредитного скоринга в целом, поскольку сам факт нарушения взаимоотношений с банком является редким событием, существенное влияние на которое оказывают форс-мажорные обстоятельства, принципиально не предсказуемые ни моделями, ни даже самим клиентом. Как следствие, прямое использование методов машинного обучения по таким данным обычно не приводит к успеху в силу разбалансированности выборки; это порождает необходимость перехода от бинарных классификационных моделей к моделям на основе рисков, в которых учитывается фактор неопределенности.
В качестве примера на рис. 2 приведена визуализация кластеров клиентов, промаркированных по их склонности к досрочным погашениям кредитов, полученная с помощью метода нелинейного понижения размерности tSNE. Данный пример иллюстрирует логику одного из способов построения производных характеристик финансового поведения клиента по их агрегированным профилям (признаковым описаниям, полученным в результате свертки ассоциированных цепочек событий).
Рис. 2. Кластеры клиентов с высокой (красный) и низкой (зеленый) склонностью к досрочным погашениям кредита, представленные в пространстве сниженной размерности
Следует отметить, что финансовое поведение клиентов тесно связано с их деятельностью, в первую очередь с процессами потребления. Поэтому, как правило, такие модели должны обогащаться за счет различных индивидуальных данных (в том числе из открытых источников), напрямую не связанных с финансовой сферой.
Заключение
Мир неуклонно движется в сторону новейших технологий, а значит и ожидания потребителей также быстро меняются. Развитие мировых событий в связи с пандемией только усиливает тренд, который толкает товары и услуги навстречу появляющимся техническим решениям. Компаниям следует отреагировать на эти перемены и начать внедрять информационные технологии как для удобства клиентов, так и для повышения производительности собственного персонала.
Пандемия — серьёзный тревожный звонок для всех компаний. В неблагоприятных условиях как никогда нужны кризисоустойчивость и снижение рисков. Вкладывайте средства в подходящие технологии, чтобы обеспечить уверенное развитие своего бизнеса.
Автор оригинала: Saheen Najeeb
Оцените материал: