Задачи интеграции данных из разных независимых источников/систем являются типовыми. И проблемы при интеграции данных также являются типовыми.
Вот несколько основных из них:
- противоречивость данных в разных источниках;
- использование разных систем кодирования и словарей, которые несовместимы друг с другом;
- неполнота данных в источниках, которая не позволяет однозначно идентифицировать один и тот же объект в разных источниках;
- мусор, искажение данных, связанные с особенностями применяемых технологий;
- само качество и достоверность источников данных.
Наши специалисты принимали участие в разработке Комплексной интегрированной информационной системе Росморречфлота "МоРе" (КИИС "МоРе"), являются соавторами данной системы и познали все проблемы интеграции в полном объеме. По мере реализации системы с 2009 г было реализовано два алгоритма сведения судов в один объект, но по мере углубления в источники данных стало понятно, что подход должен быть кардинально иным. И он у нас есть....