Informačné systémy o vede

Národný informačný systém podpory výskumu a vývoja v SR – prístup k elektronickým informačným zdrojom NISPEZ

Informačné systémy o vede Integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej konferencie CVTI SR, Bratislava 2. apríla 2014

CVTI SR, Bratislava 2014

Informačné systémy o vede: integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej konferencie, konanej dňa 2.4.2014 v Centre vedecko-technických informácií SR. Zborník vyšiel v rámci realizácie národných projektov NISPEZ a NITT.

Zostavila: Danica Zendulková Recenzovali: Jan Dvořák, Miriam Ondrišová Zodpovedný redaktor, grafická úprava: Lukáš Zendulka Vydalo Centrum vedecko-technických informácií SR, Bratislava 2014 Vydanie prvé Počet strán: 131 Formát: pdf Sprístupnené od mája 2014 na stránke http://nispez.cvtisr.sk

Za obsah a jazykovú úpravu príspevkov zodpovedajú autori.

ISBN 978-80-89354-28-3 EAN 9788089354283

© Centrum vedecko-technických informácií SR

Obsah

Program konferencie ...............................................................................................................4 Ján Turňa Uvítací príhovor generálneho riaditeľa CVTI SR na konferencii .............................................5 Roderik Klinda Uvítací príhovor zástupcu MŠVVaŠ SR na konferencii ...........................................................6 Ed Simons EuroCRIS and CERIF. The importance of an international standard metadata model for research information ..................................................................................................................7 Martin Matějka Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013 ......17 Barbara Ebert Using a CRIS to reduce workload and increase quality for research reporting and university marketing .................................................................................................................................31 Brigitte Jörg Standardising research contexts towards system interoperability – and more ........................49 Anna Asserson Repositories, CRIS and CRIStin: the story so far ...................................................................65 Viera Hudečková IS VaVaI – zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích ......................................................................................80 IPn Metodika – efektivní systém hodnocení a financování výzkumu, vývoje a inovací ........98 Danica Zendulková SK CRIS ako nástroj integrácie dát o vede na národnej úrovni ............................................107 Adriana Shearman SK CRIS as an information resource for technology transfer ...............................................119

Program konferencie

Miesto konania: CVTI SR, Bratislava, Lamačská 8/A 9:00-9:30 9:30-10:00

10:00-10:30

10:30-11:00 11:00-11:30

11:30-12:00

12:00-13:00 13:00-13:30 13:30-14:15

14:15-14:30 14:30-15:00 15:00-15:30 15:30-16:00

Otvorenie konferencie EuroCRIS and CERIF: the Importance of an International Standard Metadata Model for Research Information. Ed Simons (prezident euroCRIS, Radboud University Nijmegen Holandsko) Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013. Martin Matějka (Úrad Vlády Českej Republiky) Prestávka Using a CRIS to reduce workload and increase quality for research reporting and university marketing. Barbara Ebert (Leuphana University Lüneburg, Nemecko) Standardising Research Contexts towards System Interoperability - and more. Brigitte Jörg (CASRAI, JeiBee Limited, Londýn, Veľká Británia) Obed Repositories, CRIS and CRIStin: the Story so Far. Anna Asserson (University of Bergen, Nórsko) IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích. IPn Metodika-Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Viera Hudečková (Úrad Vlády Českej Republiky) Prestávka SK CRIS ako nástroj integrácie dát o vede na národnej úrovni. Danica Zendulková (CVTI SR) SK CRIS ako informačný zdroj pre transfer technológií. Adriana Shearman (CVTI SR) Diskusia, záver

4

Uvítací príhovor generálneho riaditeľa CVTI SR na konferencii

Ján Turňa CVTI SR - Slovak Centre of Scientific and Technical and Information generálny riaditeľ [email protected]

Dobrý deň, vážené dámy, páni a hostia, kolegovia, priatelia,

stretnutie s našimi zahraničnými hosťami nám pripomína, že minimálne tretíkrát má toto podujatie medzinárodný charakter, aj keď jeho názov sa mierne v čase vyvíja. Ako zrejme všetci viete, naša organizácia je poverená zberom, spracovaním, udržaním a šírením informácií o slovenskej vede, výskume, inováciách a to nielen pre podmienky Slovenska, ale pre EÚ a dokonca aj ďalej v rámci sveta. Základným predpokladom dosiahnutia týchto cieľov je nájsť spoločnú platformu, spoločný formát a sme veľmi radi, že v tomto môžeme spolupracovať v konzorciu spoločne s ďalšími pracoviskami predovšetkým v Európe. Pracujeme na formáte CRIS a spustenie portálu SK CRIS a príslušnej databázy by jednoducho nebolo vzniklo bez tejto spolupráce. Preto sme si vedomí významu takýchto podujatí, výmeny skúseností a ich šírenia aj v širšej odbornej verejnosti. Želám všetkým účastníkom tvorivé stretnutie, príjemný pobyt v Bratislave a úspešný dnešný deň. Ďakujem ešte raz.

5

Uvítací príhovor zástupcu MŠVVaŠ SR na konferencii

Roderik Klinda Ministerstvo školstva, vedy, výskumu a športu SR Sekcia vedy a techniky Odbor implementácie štátnej politiky, európskych a mezinárodných iniciatív výskumu a vývoja riaditeľ odboru [email protected]

Milé dámy, vážení páni, ctení hostia,

je mi cťou a potešením vás privítať v mene ministerstva na tejto konferencii. Myslíme si, že táto konferencia je veľkou príležitosťou predstaviť slovenskej vedeckovýskumnej a akademickej obci medzinárodné štandardy, metodiky a skúsenosti pri zbere, spracovaní, sprístupňovaní a používaní vedeckých informácií, ako aj výsledky, ktoré sme v tejto oblasti na Slovensku dosiahli. Informačný systém o výskume, vývoji a inováciách, v skratke SK CRIS, bol odovzdaný do prevádzky v roku 2013 v rámci národného projektu financovaného z fondov EÚ, ktorý je realizovaný prevádzkovateľom tohto systému, Centrom vedecko-technických informácii, ktoré je naším dnešným hostiteľom. Tento systém SK CRIS bol vybudovaný v súlade so štandardmi EÚ a jeho hlavným cieľom je zabezpečovanie zberu, spracovania, sprístupňovania a využívania údajov o výskume, vývoji inováciách tých, ktoré sú podporované z verejných zdrojov. My ako ministerstvo školstva, ako správca tohto systému, využívame údaje o aktivitách, subjektoch a výsledkoch výskumu a vývoja, ktoré sú v rámci SK CRIS zozbierané, hlavne na tvorbu a parametrizáciu štátnej vednej politiky. Z tohto dôvodu samozrejme vítame všetky aktivity, ktoré smerujú k skvalitneniu dostupných dát o slovenskom výskume, k zlepšeniu komplexnosti a k nastaveniu ich medzinárodnej porovnateľnosti. Toľko z mojej strany, želám príjemnú konferenciu.

6

EuroCRIS and CERIF. The importance of an international standard metadata model for research information

Ed Simons Radboud University Nijmegen, Holandsko prezident EuroCRIS [email protected]

pracuje ako manažér medzinárodných projektov v oblasti informačných technológií na Radboudovej Univerzite v Nijmegene, Holandsko. V roku 2013 sa po viacročnej práci v Rade stal prezidentom európskej organizácie pre medzinárodné informácie o výskume EuroCRIS.

euroCRIS and CERIF: The Importance of an International Standard Research Information Metadata Model Ed Simons, Radboud University, Netherlands President of euroCRIS BRATISLAVA, APRIL 2014

7

Speaker • Ph.D. in Social Sciences • International IT-Project Manager at Radboud University, Netherlands. • Information Manager of IFCU: International Federation of Catholic Universities (www.fiuc.org) • Leader of the OPUS-College Project: an open source Student Information System for universities and HEI’s in developing countries (Mozambique, Zambia) (www.opus-college.org)

• Initiator and Project leader of METIS: CRIS of Dutch universities and Royal Academy of Sciences • President of euroCRIS since 2013.

Structure of this Presentation

• • • •

The euroCRIS Organisation The CERIF Model The Research Information Ecosystem An integrated Framework for Research Information Management and Policy Making

euroCRIS • An international not-for-profit organisation of experts in research information and research information systems. • MISSION: To advance Interoperability in the Research Community through CERIF • Main activity: development of the CERIF metadatamodel and its application (Common Euopean Research Information Format): a standard model for storage and interoperability of research information (metadata: data/information about research). • Other function: international platform for exchange of research information knowledge and expertise. • Bi-annual (academic) Conferences, annual Seminars and Membership Meetings (twice a year) • Next activity:

Register at: http://www.cris2014.org/

8

Membership: the euroCRIS Community

Australia – Canada – China – Iran – Israel – Malaysia – Nigeria – Pakistan – South Korea - USA

Current membership is 194: 128 institutional, 42 personal and 24 affiliate (Coming from 43 countries, mainly Europe)

Strategic Partners of euroCRIS.

In preparation:

Web site: www.eurocris.org

9

The CERIF Model • Standard model for storage and interoperability of research information (metadata on research), and as such the base for the development of Research Information Systems (CRIS). • Official EU Recommendation to Member States. • Strong points of CERIF: • Broad Coverage: includes all aspects of RI (projects, persons, organisations, funding, publications, datasets, other results, impact, equipment, etc…) • Fine-grained data-structure: allowing import and export (aggregation) of almost any metadata format used in other applications (e.g. DC, Mods/DIDL, Marc21, etc..) • Optimal (relational) architecture: able to express any kind of relation between entities (by means of link entities). with every relation “time stamped” and semantically defined • Separate “semantic layer”: allowing the use of multiple controlled vocabularies (classifications, typologies) as well as their crosswalks. • Systems (CRIS) based on CERIF: Converis (Thomson-Reuters), PURE (Elsevier) and various locally developed systems.

The CERIF Model

Key feature of CERIF: Link Entities • The characteristics (attributes) of an entity (object) are not stored with the entity (in the entity table) but expressed through “link entities”, allowing multiple roles/characteristics to be expressed for the same aspect. ResultPublication OrganisationUnit_ResultPublication

Person_ResultPublication role=author role=author1 role=reviewer role=... ?

Person

Project_ResultPublication role=deliverable1.2 role=journal article role=public report

OrganisationUnit

Person_OrganisationUnit role=CEO role=researcher role=project-manager

Person_Project

role=author1-institute role=editor role=... ?

Project_OrganisationUnit Project

role=coordinator role=manager

10

role=funder role=investigator role=member

Key feature of CERIF: Semantic Layer • Classifications of objects/entities (“controlled vocabularies”: keyword lists, typologies, etc..) are dealt with by the Semantic Layer. • Controlled vocabularies can be both formal (e.g. typology of publications) or content-oriented (e.g. MESH: Medical Subject Header classification).

• The principle of “link entities” also applies to the semantic layer. • This allows for: • Applying multiple classification scheme’s to the same object, e.g.: a publication in Biochemistry could be classified both according to a classification scheme used in Medical Sciences and another one used in Chemistry. • Mapping (translating) different classification schemes to one another.

Key feature of CERIF: Semantic Layer Example: applying multiple content classifications to a publication (A separate record for each classification term applied, containing:)

In principle an infinite number of classification scheme’s can be applied to the same object (entity) this way.

(Biological Science)

(Medical Sciences)

Key feature of CERIF: Semantic Layer Example: mapping different classification scheme’s to one another

Result: a search on a keyword from one classification will also find information classified by means of the other classification.

11

CERIF: example of a Use Case

We could of course extend this use case with things like:

etc…

The Research Information Ecosystem 3 main Components: • Research Management and Description Information (contextual and descriptive metadata): stored and managed in CRIS, used for: • Evaluation, assessment, benchmarking of research • Policy making and steering of research • General description of research, the actors, organisations and tools involved, time and money spent for the research and the results (publications, patents, datasets) and impact obtained. • Electronic Publications: stored and managed in (OA) Publication Repositories • Communication of the actual content or findings of the research • Exposure of metadata for discovery and description of the publications. • Datasets: stored and managed in Data Repositories. • For control of the scientific integrity of the research • Re-use (re-analysis) of the data to find/generate additional knowledge. • Exposure of metadata for discovery, description and conditions of (re)use of the dataset. Substantial overlap in metadata between the 3 components and in the systems used for these components. This calls for an integrated approach in order to avoid the “Nightmare Scenario”.

The “Nightmare Scenario” The Nighmare Scenario is caused by a Silo-ed existence of the 3 components and can occur at 3 levels: Researcher level, i.e. the Producer of RI: having to store substantially the same information in different systems. • At 9:00 a.m. storing information (metadata) in the CRIS • At 10:00 a.m. having to go to another system to store partly the same metadat in a publication repository • At 11:00 a.m. when depositing the dataset of her/his research, again having to use a different system. Consumer or user level: having to search or combine 3 different systems, with the risk of excluding one or two and so missing vital pieces of information. (meta) Data Management level: risk of (de-)synchronisation of information, both in time and concerning uniformity of information.

12

Adding Complexity: External Systems • Information on publications often already available in international (commercial) systems, e.g. Web of Science, Scopus.

• Information on persons, projects, etc… often already available in systems outside the research information domain, i.e. HRM-systems, Project management systems. • This can add to the “Nightmare Scenario” if not properly taken into account.

Summarizing the problem So we have 3 components of Research Information, managed by different systems but to a large extent using the same metadata. Adding to this: a part of the metadata needed is already present in “external systems”. In order to avoid extra (double) work for researchers and data managers as well as risks concerning synchronisation, uniformity and completeness of information we need an integrated approach or framework for RI metadata handling.

The CERIF Model and CRIS based upon this model, constitute the core element, or central piece, of such a framework.

Exchange of information to and from the central system automated and based on CERIF-XML

13

Why can CERIF perform this pivotal function? • Broad Coverage: includes all aspects of RI (projects, persons, organisations, funding, publications, datasets, other results, impact, equipment, etc…) • Fine-grained data-structure: allowing import and export (aggregation) of almost any metadata format used in other applications (e.g. DC, Mods/DIDL, Marc21, etc..) • Optimal (relational) architecture: able to express any kind of relation between entities with every relation “time stamped” and semantically defined (the core concept of link entities) • Separate “semantic layer”: allowing the use of multiple controlled vocabularies (classifications, typologies) as well as their crosswalks.

More in detail: the model applied to Datasets

(© Keith G. Jeffery)

Concrete application of the 3-layer Model • Suppose: Marine Biology research into the water quality in a certain region of the Indian Ocean and its effects on life/quality of the Coral Reefs in that region. • Water samples are taken regularly in various parts of this region. • In layer 2, the central contextual/descriptive layer, metadata are stored such as: • unique identifier of the dataset, • Name/title of the dataset, • Language • Dataset locator (URI), • Conditions for access and re-use • Possible restrictions for public access • Institution which conducted the research • (names, titles, roles, etc… of) Researchers involved • Responsible person and contact person for the dataset • Project as part of which the research was carried out • Publications based upon/linked to the dataset • Geographical coordinates of the of the Indian Ocean region the research applied to • Pointer (URI) to the data-specific metadata in layer 3, etc…

• From layer 2 the discovery metadata (e.g. DC) for layer 1 are automatically generated and exposed on the Internet. • In layer 3 the discipline- or data-specific metadata are stored, e.g. the geographical coordinates of the specific parts of the region, specific classification schemes of the coral flora and fauna, chemical procedures applied for analysis etc… • For each layer specific services may be implemented, e.g.: harvesting services on layer 1, dataset profile creation or linked data services on layer 2, integrity control services on layer 3, etc…

14

Other Key Elements of the Framework • Unique and persistent, standardized identifiers (DOI, ORCID, ISNI, …): euroCRIS cooperates with ORCID • Standardized business vocabularies: for this euroCRIS cooperates with CASRAI Both aspects, together with the CERIF model, are indispensable in order to guarantee interoperability in research information.

Conclusions: Summarizing the Framework • The work of euroCRIS, in connection with its Strategic Partners, supplies the building blocks for an optimal, integrated Framework for Research Information management and interoperability on an institutional, national or international level. • The framework consists of the following key elements: • The CERIF standard metadata model as the central core or layer of the framework. • Standardized unique identifiers. • Standardized business vocabularies.

Conclusions: Summarizing the Framework • The framework forms the base for: • Formulation of an integrated Research Information Policy and Strategy (policy level) • Realisation of optimal technical solutions for storage, interoperability and exposure of RI (system level) • Implementation of appropriate organisational structures for RI management , both functional and technical (organisation level) • Creation of optimal services for the various target groups (consumers/users) of research information. (service level)

15

Conclusions: Summarizing the Framework To summarize the goal of the Framework in one sentence:

Minimizing the overhead and workload needed for input and maintenance of Research Information while at the same time maximizing services and functionality for the users of Research Information.

Conclusions: the role of euroCRIS • euroCRIS, together with its strategical partners, e.g. CASRAI, ORCID, can lend advice and support on how to optimally implement the integrated framework for research information on an institutional (universities, institutes), national (governmental organizations, e.g. SCSTI) and international (e.g. EU) level, or even provide “turn key” solutions in the future.

Thank you very much for your attention and I hope to see you next month at the international euroCRIS Conference in Rome!

You can still register at: http://www.cris2014.org/

16

Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013

Martin Matějka Úřad vlády České republiky [email protected]

pracuje na Úrade Vlády ČR ako referent výskumu. Je jedným z tvorcov informačného systému výskumu, vývoja a inovácii v Českej republike a má na starosti metodiky hodnotenia vedy a výskumu, Vo svojom príspevku bude hovoriť o najnovšej metodike hodnotenia výsledkov organizácií výskumu v Českej republike z roku 2013.

Základní dokument, o který se opírá celý proces hodnocení vědy a výzkumu v České republice je vládou ČR schválena „Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů“, která je platná pro léta 2013 až 2015 (dále jen „Metodika 2013“).1 Tato Metodika 2013 si klade za cíl zachovat kontinuitu v hodnocení výsledků výzkumných organizací (dále jen VO) do doby než bude vytvořen a zaveden nový systém hodnocení a financování výzkumu, vývoje a inovací. Při zachování této kontinuity si však klade za cíl odstranit některé kritizované nedostatky dosavadního systému hodnocení výsledků, které mohly způsobovat neefektivitu ve financování výzkumu. Na rozdíl od minulých metodik však současná Metodika2013 neobsahuje explicitní předpis pro stanovení výše institucionální podpory u jednotlivých VO.

Stávající právní rámec a strategické dokumenty platné v ČR Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů, (dále jen „zákon“) definuje institucionální podporu na dlouhodobý koncepční rozvoj VO na základě zhodnocení jí dosažených výsledků (§ 3 odst. 3 písm. a) a § 4 odst. 2 písm. a). Zákon rovněž stanoví, jak má být tato institucionální podpora na základě zhodnocení výsledků navrhována Radou pro výzkum, vývoj a inovace (dále jen „RVVI“) pro vyjednávání s jednotlivými 1

Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015), schválená usnesením vlády ze dne 19. června 2013 č. 475.

17

poskytovateli v dohadovacím řízení (§ 5a odst. 2 písm. b) a jak ji mají poskytovatelé na základě zhodnocení výsledků poskytnout jednotlivým příjemcům (§ 7 odst. 7). Podle § 35 odst. 2 písm. c) pak RVVI zabezpečuje „přípravu Metodiky hodnocení výsledků výzkumných organizací a výsledků ukončených programů a její předložení vládě“ a podle § 35 odst. 2 písm. d) RVVI zabezpečuje „hodnocení výsledků výzkumných organizací a výsledků ukončených programů podle Metodiky hodnocení výsledků výzkumných organizací a výsledků ukončených programů schvalované vládou“. Národní politika výzkumu, vývoje a inovací České republiky na léta 2009 – 2015 v jednom z hlavních principů (II.3) zmiňuje „Posílení závislosti výše podpory na dosahovaných výsledcích“. Tento požadavek je dále konkretizován v cíli A 3-1: „Institucionální podporu VaV rozdělovat podle hodnocení výsledků VaV výzkumných organizací“ a v cíli A 9-2: „Dopracovat metodiku hodnocení výsledků výzkumu a vývoje a zavést systém periodického a objektivního hodnocení systému podpory VaVaI na všech úrovních.“2 Přestože hodnocení výsledků a na něm založené financování bylo postupně zavedeno, stalo se předmětem kritiky jak ze strany domácích pracovníků, tak i ze strany Mezinárodního auditu výzkumu. Potřeba řešit tento problém se tak stala akutní. V dlouhodobém horizontu se předpokládá, že systém institucionálního hodnocení a financování výzkumu se bude opírat o doporučení projektu „Mezinárodního auditu výzkumu vývoje a inovací v ČR“ a o případné výsledky projektu „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (tzv. IPn Metodika). Pro upřesnění postupu v následujících letech RVVI schválila dokument Dlouhodobé principy hodnocení výsledků výzkumných organizací (263. zasedání RVVI dne 25. 3. 2011), v němž se počítá s mezidobím do vzniku tzv. „velkého hodnocení“: „Do doby, než vznikne, bude pilotně ověřeno a schváleno velké hodnocení, bude fungovat „malé“ hodnocení, probíhající každoročně na základě sběru dat v IS VaVaI“.3 Stávající Metodika 2013 tak slouží jako konkrétní realizace tohoto „malého hodnocení“ s rozšířením o peer-review vybraných výsledků.

Dosavadní úprava a použití metodik Použití první metodiky pro hodnocení výsledků vědy a výzkumu se vztahuje k roku 2004. Tato metodika byla postupně upravována a dále rozvíjena. Např. pro hodnocení v roce 2012 byla vládou schválena metodika hodnocení jako prodloužení metodiky platné pro léta

2

Národní politika výzkumu, vývoje a inovací ČR na léta 2009 až 2015 byla nahrazena Aktualizací Národní politiky výzkumu, vývoje a inovací České republiky na léta 2009 až 2015 s výhledem do roku 2020, schválené usnesením vlády ze dne 24. dubna 2013 č. 294.

3

Blíže o projektu na webových stránkách Ministerstva školství, mládeže a tělovýchovy ČR: http://metodika.reformy-msmt.cz/detailyprojektu.

18

2010 a 2011. Tato předchozí metodika schválená původně na dva roky (usnesením z roku 2010) byla s poměrně výraznými úpravami změněna pro rok 2011. Stávající aktuální znění Metodiky 2013 navazuje na metodiky z předchozích let (2004 až 2009) v tom, že jednotlivé VO vkládají údaje o svých výsledcích do informačního systému a podle předem daného algoritmu je těmto výsledkům přiřazena určitá bodová hodnota. Součet bodových hodnot za jednotlivé výsledky byl potom přímo úměrný výši institucionální podpory na úrovni poskytovatelů i jednotlivých VO (pokud tyto nebyly poskytovatelem podrobněji zhodnoceny mezinárodně uznávanými metodikami - § 7 odst. 7 zákona). Úpravy metodiky z let 2010 a 2011 směřovaly především k tomu, aby zůstala zachována mezioborová alokace této podpory a zamezilo se neopodstatněnému nárůstu celkové bodové hodnoty za výsledky, u nichž lze obtížně ověřovat správnost zadávaných údajů. Výsledky hodnocení podle vládou schválené Metodiky 2013 slouží nejen pro stanovení výše institucionální podpory na dlouhodobý koncepční rozvoj (celkem cca 8 mld. Kč), ale též jako jedno z kritérií při posuzování výzkumných organizací ze strany RVVI. Dále toto hodnocení slouží jako jeden z parametrů pro alokaci účelové podpory na specifický vysokoškolský výzkum ze strany MŠMT (cca 1,1 mld. Kč), rovněž jako jeden z parametrů pro určení příspěvku na vzdělávací činnost veřejným vysokým školám (součást tzv. parametru K, cca 3 mld. Kč) a dále pro stanovení limitů na financované studenty v jednotlivých stupních studia.

Problémy, které řeší Metodika 2013 Třebaže se metodikou z roku 2011 podařilo odstranit některé křiklavé nedostatky předchozích hodnocení, řada problémů zůstala. Ačkoliv je Metodika 2013 nemůže vyřešit úplně, předpokládá se výrazný posun žádoucím směrem. Dosavadní problémy lze shrnout do tří okruhů: 

Minulá hodnocení nereflektovala mezioborové odlišnosti a rozdílné standardy ve způsobu publikování či jiného uplatňování výsledků. To pak v některých oborech mohlo vést k pokřiveným vzorcům chování.



Řada výsledků byla hodnocena paušálně, pouze na základě jejich existence jim byla přiřazena fixní bodová hodnota bez ohledu na jejich kvalitu. Téměř polovina bodů přidělených za výsledky uplatněné v roce 2011 byla přidělena paušálně. Tyto výsledky často vůbec neprocházely expertním posouzením (peer review) a v některých případech dokonce nebylo ani prověřováno splnění elementárních požadavků kvality a relevance kladených na tyto výsledky. To se týkalo všech typů výsledků kromě článků v impaktovaných časopisech.



Minulé hodnocení neumožňovalo identifikovat vysoce kvalitní výsledky a v řadě případů stimulovalo spíše k masové produkci průměrných a podprůměrných výsledků, než aby podporovalo kvalitu či excelenci. Třebaže v případě publikací v 19

impaktovaných časopisech mají renomovanější a recenzně náročnější časopisy zpravidla vyšší bodovou hodnotu (u časopisů s vysokým impaktním faktorem i velmi výrazně), minulá metodika neumožňovala odlišit kvalitní výsledky všech ostatních druhů výsledků a neumožňovala ani odlišit kvalitu jednotlivých článků v tomtéž impaktovaném časopise. Kromě těchto problémů však přetrvávají i problémy další a některé z nich nelze vyřešit bez změny zákona. Předpokládá se, že příslušné legislativní změny budou navrženy, jakmile bude nalezena shoda nad novým modelem hodnocení a financování. Týká se to zejména otázek souvislosti mezi hodnocením a financováním, sledování i jiných aspektů VO než pouze jejich výsledků, formativní stránky hodnocení, atd. Způsob řešení Metodika 2013 je strukturována do tří propojených pilířů, které ve vzájemné součinnosti vedou k eliminaci výše uvedených problémů: 

Pilíř I: Hodnocení publikačních výsledků. Oproti minulým úpravám nyní pro každou oborovou skupinu Metodika 2013 určí relevantní typy výsledků a jejich případné maximální podíly na bodových hodnotách. Některé výsledky v některých oborových skupinách tak nebudou hodnoceny vůbec, v jiných oborových skupinách mají stanoven procentní limit na bodovém množství této oborové skupiny. Knihy, kapitoly v knihách a v určitých oborech články v neimpaktovaných recenzovaných časopisech projdou verifikací a rozřazením do několika kvalitativních skupin.



Pilíř II: Hodnocení kvality vybraných výsledků. Každá instituce předloží omezený počet vybraných výsledků k expertnímu posouzení. Hodnotící komise, v kterých by měli mít výrazné zastoupení zahraniční experti, pak v rámci každé oborové skupiny vyberou maximálně 20 % nejlepších výsledků, které si zaslouží zvláštní bonifikaci. 20

Kromě toho bude zvláštní bonifikace za excelenci náležet institucím, jejichž pracovníci uspěli v získávání projektů ERC (European Research Council). 

Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Na rozdíl od dosavadní praxe paušálního bodování všech výsledků nepublikačního charakteru zůstalo paušální ohodnocení pouze patentům, plemenům a odrůdám. Za ostatní výsledky se bude bodové skóre odvíjet podle finanční podpory jednak z projektů aplikovaného výzkumu a jednak z objemu vykázaného smluvního výzkumu.

Popis a zdůvodnění hlavních opatření Metodiky 2013 

Jsou definovány skupiny oborů a u každé z nich relevantní druhy výsledků, které se v dané skupině hodnotí, jiné druhy výsledků, např. knihy ve fyzice, chemii, biologii a lékařských vědách, se hodnotit nebudou. To odráží oborové odlišnosti, kdy např. v exaktních vědách jsou nejdůležitějším výstupem v oblasti základního výzkumu články v impaktovaných časopisech, zatímco v humanitních disciplínách to jsou spíše knihy. Kvóty stanovené na maximální relativní bodová skóre některých druhů výsledků v jednotlivých disciplínách zabrání nadměrnému nárůstu váhy těchto výsledků. Opatření omezí motivaci k nadměrné produkci snazších výsledků jen pro bodový zisk.



V naprosté většině oborů budou hodnoceny články v časopisech, jen pokud je

21

příslušný časopis indexován v databázi Web of Science nebo (v některých oborech) i ve Scopus a ERIH, a jejich bodování bude podmíněno strojovou verifikací. Pouze pro určitou skupinu společenských a humanitních věd bude nadále existovat seznam českých recenzovaných časopisů, jejichž články budou v hodnocení přinášet body. Všechny články však budou podléhat fyzické verifikaci. Opatření směřuje ke zvýšení tlaku na kvalitu publikačních výsledků. 

Knihy a kapitoly v knihách budou za pomoci expertních panelů podrobeny fyzické verifikaci a rozřazení do několika kvalitativních skupin. Opatření eliminuje problém neadekvátního paušálního hodnocení těchto výsledků, které jsou dominantní v některých oborových skupinách, a zvyšuje tlak na kvalitu předkládaných výsledků.



Jednotlivé VO budou předkládat určitý počet svých vybraných nejvýznamnějších výsledků k expertnímu posouzení. Počet předkládaných výsledků se bude odvíjet od poskytnuté institucionální podpory. Každá VO zdůvodní, proč tyto výsledky považuje za zvláště významné. V každé skupině oborů pak expertní komise s výrazným zastoupením zahraničních odborníků vybere maximálně pětinu nejlepších výsledků k bonifikaci. Ve výsledku dojde k přesunu části bodového skóre od těch institucí, které vzhledem ke svému rozpočtu produkují podprůměrný počet vysoce kvalitních výsledků k těm institucím, které vysoce kvalitních výsledků produkují vzhledem ke svému rozpočtu relativně více. Opatření umožňuje vyniknout kvalitním týmům a motivovat je ke špičkovým výkonům, aniž by byly tlačeny k nadměrné produkci podřadných výsledků.



Bodový bonus bude přidělen VO, jejíž pracovníci získali ERC grant. Protože podle pravidel ERC je jediným kritériem excelence, není preferován žádný konkrétní obor ani typ výzkumu (základní či aplikovaný) a projekty ERC procházejí velice náročným mezinárodním zhodnocením, není nutno získávat další hodnotitele, konstruovat nová pravidla a detailněji řešit otázku jak definovat mezinárodní standardy excelence v jednotlivých oborech. Zhodnocení dosavadních výsledků je tedy nepřímo delegováno na mezinárodní subjekt s vynikající reputací. Přitom je nutno konstatovat, že ČR má nízkou úspěšnost v získávání těchto projektů. Opatření má za cíl bonifikovat pracoviště s nezpochybnitelnou mezinárodní úrovní a motivovat k vyšší snaze českých výzkumníků uspět v soutěži o tyto projekty.



Nepublikační výsledky výzkumu s výjimkou patentů (jako např. funkční vzorky, prototypy, poloprovozy, software, atd.) nebudou hodnoceny paušálně, ale jejich bodová hodnota se bude odvíjet od získané finanční podpory buď v projektech aplikovaného výzkumu, nebo ze smluvního výzkumu. U indikátoru podpory z projektů aplikovaného výzkumu bude nutnou podmínkou k započtení přidělené finanční podpory pro bodovou alokaci souhlas poskytovatele vyjadřující, že projekt vede odpovídajícím způsobem ke vzniku předpokládaných výsledků. Opatření se po mnoha pokusech o jiná řešení jeví jako nejschůdnější způsob jak do systému hodnocení adekvátním způsobem začlenit výsledky aplikovaného výzkumu. Opatření zohledňuje též jedno z doporučení Mezinárodního auditu výzkumu, podle něhož by část institucionálního rozpočtu VO měla být konstruována „podle předpisu“ s tím, že 22

jako jeden z indikátorů by měla sloužit externí podpora jednak z kompetitivních projektů a jednak z výzkumných smluv. Kromě těchto opatření, která výrazně odlišují platnou Metodiku 2013 od metodik předchozích, je sledováno zachování kontinuity s dosavadním hodnocením s případnými upřesněními: 

V pilířích I a III jsou zachovány procentní bodové alokace na jednotlivé oborové skupiny i na skupiny druhů výsledků stanovené v předchozích metodikách. Pouze v rámci pilíře II (který na počátku představuje 10 % celkového bodového skóre), je institucím dána možnost preferovat výběr svých výsledků zcela nezávisle a tím umožnit případné drobnější přesuny bodového skóre mezi obory i druhy výsledků.



V Pilíři II. je dána možnost spolupracujícím organizacím dohodnout si stanovení podílů na společném výsledku. Pokud však k dohodě nedojde, použije se pravidlo z předchozích metodik.



Nová Metodika 2013 se používá pouze na nově uplatněné výsledky, výsledkům obodovaným v předchozích hodnoceních zůstane (s určitými výjimkami) původní bodová hodnota. Výjimky se týkají oprav při případně zjištěných chybných údajích.

Metodika 2013 je formulována tak, aby mohla fungovat několik let do vytvoření, schválení a zavedení nového systému hodnocení a financování výzkumu. Obsahuje několik parametrů, které mohou být po pečlivém uvážení podle potřeby měněny rozhodnutím RVVI, aniž by bylo nutné měnit metodiku hodnocení schválenou usnesením vlády. Konkrétní pravidla a popis logistiky peer-review verifikací a hodnocení v I. a v II. pilíři navrhuje a schvaluje RVVI jako separátní prováděcí dokumenty. Výstupy z těchto postupů budou poprvé použity v roce 2014 jako součást Hodnocení 2014. Hodnocení 2013 tedy proběhlo ještě bez peer-review hodnocení vybraných výsledků. Jak je uvedeno v úvodu, na rozdíl od minulých metodik platná Metodika 2013 neobsahuje explicitní předpis pro stanovení institucionální podpory. Celá problematika přípravy návrhu státního rozpočtu na oblast VaVaI je proto přesunuta do kompetence RVVI. Od roku 2016 by dle předpokladů měl být v České republice použit nový předpis pro hodnocení výsledků vědy a výzkumu opírající se o výsledky projektu realizovaného Ministerstvem školství, mládeže a tělovýchovy.

Zdroje: 1.

2.

Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů www.vyzkum.cz

3. www.isvav.cz

23

Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013 – prezentácia z konferencie

Methodology & Czech Republic (1)

Methodology 2013 • Everything starts with money. • Act 130/2002 Sb. requires the Council to prepare a draft state budget for R & D.

Martin Matějka Office of the Government of the Czech Republic

• The Council is an advisory body to the Government of Czech republic, which has 15 members. SLOVAK CENTRE OF SCIENTIFIC AND TECHNICAL INFORMATION , Bratislava, 2. 4. 2014

• The head of the Council's member governments.


State budget for the R&D&I area Total volume cca 1,0 bilion EUR

• In 2014 is the state budget on R&D 1 billion EUR

2014 year • This budget is divided into a part of targeted and institutional.

49% 51% Institutional support Targeted support


State budget for the R&D&I area Targeted support cca 0,51 billion EUR

• The targeted part is distributed in the form of grants.

MO

Technology Agency

2%

MV

4%

21%

Grant Agency

• Institutional part is distributed according to a draft prepared by Council.

24%

GA ČR MPO MZe

7%

MŠMT MK

3% 8% Ministry of Education Youth and Sports 28%

24

3%

MZ TA ČR


State budget for the R&D&I area Institutional support cca 0,49 billion EUR

Academy of Sciences, Grant Agency

Proposal for the distribution of „Development of research organizations“ (part of institutional state budged R&D) is created by:

2014 year

13% Development of research organizations

14%

• international audit • concept for further development R&D • results achieved by research organizations

Others

2011

Costs of activities 73%

according to the Methodology


Methodology & History (1) • Methodology first began in 2004. • Only counted achieved "publishing" the results for the last 5 years. • Gradually expanded spectrum evaluated results (2006). • Different kinds of results was allocated a different number of points (2008). • In publishing the results of evaluation were introduced by Impact Factor (2010).

The evaluation methodology just described how to measure these results.

The official name: The Methodology of Evaluation of the Results of Research Organizations and Results of Finished Programmes, valid for the years 2013, 2014 and 2015 (hereinafter the “Methodology”).

Methodology & History (2)


All Methodology (from 2004 to 2010) but were still based only on the SW algorithms.

Problems still persist (2012), especially in: • evaluation of books; • evaluation of national (Czech) non-impact journals; • evaluation of the results of applied research; • absence of quality measurement; • specifics of individual disciplines (science versus humanities).

Advantages and disadvantages: + independence of the personal point of view

+ fast and cheap - would not affect the delicate specifics - difficult to measure of the quality

25

New Methodology 2013 (2)


What was to be improved?

It was established in 2013. It contains completely new features:

• Limit the purposeful creation results in the social sciences and humanities.

• evaluation of peer review; • quality assessment of selected results; • new evaluation of applied R&D.

• Introduce elements of "peer-review". • Strengthen the importance on quality.


Principles Methodology 2013

What was to be improved?

The methodology is based on three approaches (pillars), a combination of assessment by peer review and SW algorithms:

• Take into account the success in applied research projects and the contractual research. • Suppress purposeful creation of low-quality results non-publishing result .

Pillar I.

Pillar II.

Pillar III.

SubPillar I.

Methodology 2013

Pillar I., years 2013-2015 (1) Filed evaluation of publication results. Types of results (sort by RIV): • article „Jimp“, impact by WoS

• article „Jsc“, impact by SCOPUS • article „JErih“, impact by ERIH • proceedings „D“, impact by SCOPUS and WoS

Pillar I.

26


Pillar I., years 2013-2015 (2)

Annex 1. – Scoring of PUBLICATION results. Result type

Social & Humanitis

Jimp

Article in an impacted periodical 2)

Jsc

Article in the Scopus database4)

Jneimp

the

ERIH

INT 2 NAT

Jrec

Article in a periodical included in the list of reviewed periodicals 5) Global language

B

Specialist book

Basis of Evaluation are the procedures based by SW algorithms.

10 - 3054)

INT 1

Article in database

Other fields

10 - 3053)

English, Chinese, French, German, Russian and Spanish

30

12

20

11

10

10

47)

0

– source - bibliographic database WoS,

and Erih; – non-linear scoring - promoting quality – relates to the results for the types articles „Jimp“,

„Jsc“ and proceedings „D“.

40 40

Other languages

Scopus

20

Distribution points by type of result in 2013

Pillar I., years 2013-2015 (3) • In publishing the results of evaluation were introduced by Impact Factor. • Calculation according to function, which prefers the quality of the result:

18% Others

1% 2%3% 4% 1% 4% 3% 9%

14% National journals, Books

Evaluation Jimp = 10 + 295 × Factor,

3 281 983 points

5%

where: Factor = (1 - N) / (1 + (N / 0,057)), where N is the normalized ranking of the periodical, N = (P - 1) / (Pmax - 1) P = the periodical’s ranking according to the Journal Citation Report in a

61% 7% 68% WoS, SCOPUS, ERIH

Journals (WoS) Journals (SCOPUS, ERIH) National journals 82% Books Proceedings Patents Utility models Prototypes 18% Certified methods Softw are Others

series sorted in the descending order by IF.

Distribution points by field groups

The order research organization of the number of points (2008-2012)

Medical & Health Sci. 11%

Social Sci. & Humanities 15%

Biological Sci. 12%

Technical Sci. & IT 17% Agricultural Sci. 5% Earth Sci. 5%

Chemical Sci. 15% Mathematics 5%

Physics 15%

27

1

Faculty Math.& Phys., Charles Univ.

2

Institute of Physics, Acad. Sci.

3

Faculty of Science, Charles Univ.

4

Faculty of Science, Masaryk Univ.

5

Faculty of Science, Palacky Univ.

6

Faculty of Electrical Eng., Czech Tech. Univ.

7

1st Faculty of Medicine, Charles Univ.

8

Inst. Organic Chemistry & Biochem., Acad. Sci.

9

Faculty of Civil Eng., Czech Tech. Univ.

10

Faculty of Mechanical Eng., Brno Univ. Technol.

11

Faculty of Mechanical Eng., Czech Tech. Univ.

12

Faculty of Electrical Eng. & Com., Brno Univ. Technol.

13

Czech Geological Surwey

14

J. Heyrovsky Inst. Phys. Chem., Acad Sci.

Methodology 2013

Pillar I., years 2013-2015 (4) TOP 10 - Pořadí výzkumných organizací v hodnocení 2009 až 2013 Rok hodnocení 2009 0

2010

2011

2012

2013 UK - Matematicko-fyzikální fakulta Fyzikální ústav AV ČR, v. v. i.

2

UK - Přírodovědecká fakulta

4

MU - Přírodovědecká fakulta UPOL - Přírodovědecká fakulta

6

Pořadí

ČVUT - Fakulta elektrotechnická

8 UK - 1. lékařská fakulta

10

Ústav organické chemie a biochemie AV ČR, v. v. i. ČVUT - Fakulta stavební

12

VUT - Fakulta strojního inženýrství

14

SubPillar I.

16

SubPillar I., years 2013-2015 (1)

SubPillar I., years 2013-2015 (2) Evaluation conducting evaluation panels.

Peer review evaluation of published results of direct verification.

• the name is „Field Verification and Evaluation Panel“ (OVHP in czech)

Types of results (sort by RIV):

• 7 field group

• books, and „B“

• each panel have 20 – 60 experts

• chapters in books „C“, • articles in non-impact national periodicals „Jrec“,

Count of results - OVHP

Methodology 2013

2000

knihy Jrec

Počet výsledků

1500

1000

500

Pillar II.

0

os1

os2

os3

os4

os5

os6

os7

28

Pillar II., years 2013-2015 (1)

Pillar II., years 2013-2015 (2)

Peer review evaluation of the quality of selected results.

• The Experts Panels with a significant share of foreign experts will choose a maximum of 20% of the best results within each field group, which deserve a special reward. • Apart from that special reward for excellence will be awarded to research organizations, whose employees succeeded in receiving ERC (European research Council) projects.

• Each institution shall submit a limited number of selected results for expert evaluation. • For each 10 million CZK (or part) Reseach Organization allocates one result, which it will submit for expert evaluation within Pillar II.

Pillar II. - Count of results

Pillar II., years 2013-2015 (3) Evaluation conducting evaluation panels.

Total: 1 000 results

• the name is „Experts Panels“

os1 os2

• 11 field group

51

110

os3

28 32

133

• each panel have 15 – 20 experts

159

os4 os5 os6

68

149 151

37

81

os7 os8 os9 od10 os11

Methodology 2013

Pillar III., years 2013-2015 (1)

SW evaluation. • Evaluation of patents and non-publication results of the applied research. • Contrary to the current practice of flat rate scoring of all non-publication results the flat rate remains only for the patent, breed and variety type results.

Pillar III.

29



Directly scoring results Result type Specification

Points

Patent

EPO, USPTO, JPN Czech (valid licence) other national patent

100 50 10

Breed

...

25

Variety

...

25

• For other results the score will be based on the financial support from the applied research projects and the contractual research. • The formula is:

∑Total = α∑Research projects + β∑Contractual research where (α = 0.9; β = 0.1)

After 2015 ? After 2015 a new system of R&D&I evaluation should be implemented.

Thank you

IPn – project of Ministry of Education Youth and Sports.

Pillar I.

Pillar II.

Pillar III.

SubPillar I.

30

Using a CRIS to reduce workload and increase quality for research reporting and university marketing

Barbara Ebert Leuphana Universität Lüneburg, Germany [email protected]

pracuje ako vedúca Strediska výskumných služieb (Research Service) na Univerzite Leuphana v meste Lüneburg, Nemecko a má na starosti hodnotenie výskumu. Od roku 2011 je členkou Rady euroCRIS.

Summary Leuphana University is one of the pioneer institutions in Germany for the adaptation of a current research information system (CRIS). The CRIS has proven to be a good investment in terms of time and resources: Information registered in CRIS is used consistently. Over 30 report processes served in the first three years of operation illustrate the need for accessible research information within the institution. In our hands, acceptance of the CRIS has been achieved mainly through a considerate development of services and acceptance of the use cases for CRIS data. The CRIS support team aims to unburden researchers from additional data maintenance and put the data corpus to the best possible use. Institutional CRIS hold high potential for research-related services and marketing. However, technical barriers currently prevent systems and portals from exchanging data more efficiently. Leuphana has therefore joined national and international initiatives in order to foster standardization promote better dissemination of research information.

Introduction Leuphana University is one of the pioneer institutions in Germany for the adaptation of a current research information system (CRIS) for systematic use in research reporting and marketing. Research information system are IT solutions which provide access to and disseminate information about research entities such as persons (experts), projects, organizations (teams) and results (f.e. in form of publications, patents and products). The term “current” serves to indicate their dynamics and timeliness of these systems (Jeffery & Asserson, 2006). The purpose of an institutional CRIS, such as the one used by Leuphana, is to maintain a cohesive research portfolio both at organizational level and the level of the individual researcher, and to use the recorded information for reporting, assessments and marketing. At Leuphana, relational database technology is used in combination with web and information retrieval applications. Other CRISs may exist to manage projects, to advertise expert profiles or to record research output publications (see Jefferson 2010). Like Leuphana, 31

universities in Germany and other European countries have begun to use CRIS in line with campus and student lifecycle management tools to support core processes and serve the manifold reporting requirements both internally and externally.

Research information management: Drivers in Germany German higher education institutions have experienced more than one decade of practice in output-oriented management, introduced in the course of the new public management concept. This has lead to an increase in (IT-supported) documentation efforts, both in the student-related processes and in research. In the Federal State of Lower Saxony, where Leuphana is located, the Ministry of Science and Culture has established a performance-based funding scheme as well as subject-based research evaluations. These tools are also used for governance within the University. Other drivers for advances in research information management are technical developments: Better tools for research recording and analysis are available than they were 10 years ago. However, the adaptation of these tools is still in progress. The German Council of Science and Humanities (Wissenschaftsrat) has recently recommended common standards of data acquisition and harmonisation of reporting systems to improve research documentation (Wissenschaftsrat 2011). A national project has been launched to specify a core data set of research information, which in future will enable public research institutions to produce common reports and indicators (Wissenschaftsrat 2013).

The case of Leuphana University Leuphana is a mid-size university in the metropolitan area of Hamburg, with 80% Social Sciences & Humanities and 20 % Natural & Technical Sciences, 140 professors and 8.000 students. The current structure is the result of a merger between the University of Luneburg, and the University of Applied Sciences Nordostniedersachsen. Since the merge in 2005, Leuphana has established a reputation as model university in terms of study concepts, following the Anglo-american model of College and Graduate School, with General studies and consecutive Master / Dissertation programs. Yet it is at present still a developing university in terms of academic reputation, with a growing, but still medium research intensity4. Leuphana´s development strategy aims to strengthen and increase recognition in the national and international research community, in line with raising key indicators like third party funding and publications. The development steps of the university are therefore closely monitored. 4

Assessed using the QS (Quacquarelli Symonds) classification, a combination of size, subject-focus and research output (papers in Scopus) to rate a University´s research intensity.

32

Implementation of a CRIS at Leuphana In 2008, the University decided to introduce a new research information system. An older inhouse application had been in operation until the merge of the two universities in 2005, but not been updated since. In 2007, an institutional bibliography had been established by the Library, using a by-product of their main tool, a Union Catalogue (GVK) based on the Dutch PICA system. Roughly 6,000 outputs of university members had been recorded by that time, mainly from the period 2000-2008. The new system was supposed to integrate the bibliography as well as data on thirdparty funded projects from the university´s finance system SAP. The IT solution was obtained by a commercial provider, the Danish company Atira (now Elsevier). An 18 month implementation project was launched (Ebert et al. 2011), which resulted in an operational database with the following properties: 

Project directory (description, staff/partners, finance synchronized from SAP, outcome like publications, activities)



Expert directory: Person profiles with CV, plus records of posts and offices, awards etc.



Publication repository with integrated full text management



Directory of Funders and external cooperation partners (registered as contextual information on projects and publication records)



Tool for bibliometric analyses (Citations, journal ratings)



Reporting and exhibition tool for generation of lists, statistics, analyses



Webservices and xml exports for public exhibition of data on websites.

CRIS policy and day-to-day operation The CRIS project aggregates previously distributed information in a central data pool and facilitates reporting by re-using and completing the available records. The strategy used is decentralized data curation: Individual users and trained content editors register output and projects in institutions and teams. This process is aided by imports from external publication databases and internal finance and staff information systems. The outcome is a constantly growing corpus of institutional information that can be used for reporting and marketing. Database registration is voluntary for researchers and relies on the general acceptance of the associated reporting requirements and services. Key users are Faculty and Institute managers as well as Research Department, Marketing and Press Office. An interdivisional CRIS support team ensures day-to-day operations, with staff contributions from Research

33

Department (database management, validation of funding information), Library (validation of bibliographic data) and University Marketing (webservices, Typo3 plugins). The Pure support team complements data on projects and publications through a twostep validation workflow. Data is registered as needed, f.e. for annual reports or for display on the web. After three years of live operation, 6 major business processes have been adapted, 700 active database users acquired, 100 content editors in university institutions trained and 30 use cases established. The size of the university bibliography was more than redoubled, from 6,000 to currently 15,000 records.

Use cases The consequent utilization of the recorded information helps to keep the information up to date and fosters acceptance of the effort for day-to-day operation. The transition from distributed to centralized data management is however a major and still ongoing challenge within the University. Much of the internal communication is directed at university managers and support staff, convincing them to abandon their occasional collection of research information via e-Mail and in text files in favor of using the data corpus already collected in the CRIS. The main pro arguments are sustainability (data can be re-used), data quality (structured data recording forms) and services (the support team provides templates and training). As a result of these efforts, 30 report processes were served in the first three years of operation (2011-2013). Some representative use cases are described in the following sections of this paper.

Academic reporting Academic reporting serves to monitor the Leuphana development strategy. A set of input- and output oriented actions has been implemented to develop the research performance: Scientists can apply for internal funding to explore new topics or prepare large grants, conference participation and organization as well as publications. Annual budgets, sabbaticals and bonuses are awarded based on performance bonds and measurable outcomes. Each year, academic achievements are highlighted by research awards. The CRIS delivers data for the output-oriented actions and the assessment of strengths and weaknesses in individual subject areas.

Performance-based budgeting (faculty level) Each of the four Leuphana faculties has developed individual schemes for performance-based funding. Typical indicators are: 34



Publications, weighted by type (sometimes by length, bonus for top journals)



Grant income



Offices & Posts in internal committees



Doctoral, Master and Bachelor theses



Teaching workload

All four Dean´s offices have formally established the CRIS as the authoritative source for publications and grant income within their respective academic communities. One has also implemented recording for internal posts and offices in the CRIS. Feedbacks by the Deans offices are positive: The CRIS has successfully reduced the workload for data collection and analyses and increased the reliability especially of publication data. Researchers perceive the process as more transparent, as they can review the underlying data in the CRIS.

Leuphana Research Awards Nominations for the Leuphana Research Awards are combined with an annual assessment exercise on key indicators fundraising, publications and citations. The initial assessments are performed by the Research Department. Outstanding performers and the author of the best monograph receive bonuses for their annual budgets and are highlighted at the annual academic ceremony. For the “Best Fundraiser award”, the income on third-party funded projects of the previous year is assessed per Principal Investigator (PI) and normalized to national benchmark in the subject area (average funding in Germany for Humanities, Social sciences, Natural Sciences, as recorded by the Federal Statistics Office). The assessment identifies the top performers in all four faculties and gives information on the overall fundraising activity within the University: How many Principal Investigators reach or surpass national benchmark in their field? How many professors generate income from funding at all? While SAP is the main data source, the CRIS delivers contextual information on funders, funding programs and partners (international projects). Nominations for the “Research award” are based on a) fundraising, b) citations in Scopus and c) weighted publication output of the previous year. Deans are provided with the Top Performer lists in these categories and select candidates for nomination. Additional scientists may be nominated with outstanding achievements not covered by the indicator assessment. For the citation analyses, author information in Scopus is controlled and corrected. The CRIS delivers data on currently employed scientists. We aim to reduce the workload further by synchronizing Scopus citations into the CRIS. However the synchronization still holds some challenges regarding coverage of all Scopus-listed publications in the CRIS and correlation of Scopus publication ID´s, which may prove a pitfall in comparison to using 35

original data. For the publication outcome, a group of 50 scientists and about 500 publication records are analyzed each year. The CRIS delivers structured publication lists for the rating by category and impact. The CRIS reduced the workload for the assessments to about 2/3 of the original effort. We estimate the current total workload to be ~ 1 person month and consider this a fair effort for the insights gained from the exercise.

Subject surveys and reports At Leuphana, the CRIS has proven to be especially useful for subject-based surveys across organizational units, and we observe a growing interest for such exercises among internal managers. Previously, researchers known to be active in a field would have been asked to provide files with their research activities, which then had to be assembled manually into a report. Such surveys are now simplified by using the built-in subject classification functionality of the CRIS, which allows to tag CRIS records and to build database reports by subject area. The procedure for such surveys has been standardized and includes the following steps: 1. Production of a guideline: Legitimate purpose, time period to be covered and relevant indicators, description of analysis and recipients of the collected data 2. Setup of a report template: Relevant database content filtered by research area and period, sorted by organizational unit. Reports are set up as scheduled report (weekly) to monitor data collection. Corresponding webservice applications can be developed, f.e. to provide reviewers with actual data online in addition to the printed report. 3. Launch of data collection: Communication of guidelines to scientists and content editor network, request to register and tag relevant work and complete their bibliographies (time limit usually four weeks). 4. Final retrieval of data as text files, proofreading, production. The team takes care that errors are corrected in the report as well as in the original database records.

The surveys deliver good information for reports and contribute to the continuous improvement of the data corpus. In the course of six major reports produced so far, more than 3,000 records were quality-checked, enhanced or corrected. The CRIS uses a specific catalogue with currently about 60 subject areas. They can be searched in the Leuphana research portal (http://pure.leuphana.de).

36

Web integration and University Marketing Leuphana´s marketing team is a key user and strong partner in the CRIS support team. The built-in webservices of the CRIS were used to develop a Plugin and a public portal to display CRIS records on the website. The webservices retrieve CRIS content with the visibility status “public”. CRIS users can control their data in the backend by assigning individual visibility statuses to records (Public, Intranet or Database). The Plugin is a standard feature on all new websites, but has to be activated and configured by the responsible CMS editor. The Plugin reduces effort for website editing, as updates of publications or projects in the CRIS will also appear on a website, when the Plugin is activated. The development and rollout of the Plugin on existing websites was a subproject over an 18 month period. The rollout strategy addressed different needs on different levels of the organization: 

Researchers prefer a high degree of individuality. This was addressed by making the plugins configurable (selection of content type, citation format, sorting options). Scientists preferring manual editing of their websites have the opportunity to do so.



Institutes and teams needed to negotiate a common standard for citation formats and other configurations of the Plugin for use on the institutional portal. A Marketing Officer moderated round-table discussions where appropriate.



Faculties needed to ensure broad acceptance and use of the CRIS, and thus good coverage of their bibliography, before activating the plugin. Configurations were decided in the Dean´s offices.

The Plugin has effected visible improvements where websites were neglected, but publication records were available in the CRIS for performance-based funding. The service has also motivated institutes to organize continual update of the CRIS in order to re-use data on the website.

Further potential for Offsite Marketing While the main efforts were initially directed towards onsite marketing, i.e. Leuphana domain, there is a growing interest to disseminate research information offsite, i.e. to regional or subject-related portals and web catalogues. Expected benefits are a) wider representation of the institution, b) increased click rates on the institutional webpage through backlinks to projects or publications.

37

A pilot project was executed with a regional marketing platform for research in the Federal State of Lower Saxony5. The platform runs on a central database and usually requires team leaders and institutions to register their research profiles and projects through an individual user account. At the start of the project, most of the about 100 team profiles were outdated and the motivation to maintain the data was low. The project aimed to unburden institutions from the effort of maintaining an extra user-account and to achieve higher compliance by aligning with the local CRIS maintenance. For the integration, a small change was made in the data model of the CRIS to align with the regional portal´s format. Research profiles were recorded in the CRIS and a daily xml file transfer implemented to the regional platform. As a result 60 up to date institute profiles are currently transmitted, including direct weblinks to projects. Rollout of another 150 profiles from the next organizational level is already scheduled. The CRIS support team currently investigates further opportunities to integrate data offsite. The well-established OAI-PMH protocol currently holds the highest potential for offsite marketing and can be used for dissemination and creation of backlinks to local publication records. There is an interest to increase representation in the two national research portals SOFIS (social sciences) and FIS Bildung (education and pedagogics), where Leuphana research activities are currently underrepresented. Scientists also request to re-use data from or in social networks, such as Research Gate, Academia.edu or Mendeley. We find however, that pathways for bulk transfer from local CRIS systems are usually lacking. Instead, individuals are required to register their own records, with some type of publication import usually being offered. CRIS data is still re-used, but by rather impractical copy-paste or textfile transfer.

Lessons learned Acceptance of the CRIS has been achieved mainly through a considerate development of services and acceptance of the use cases (reports, webservices). Acquiring report cases for the CRIS is an effective way to acquire new database users. High service level in the support team enhances compliance. Initial report cases have to be closely monitored to establish best practice and especially to ensure continuous improvement of the underlying data corpus.

Challenges and supporting factors The aggregation of distributed information in a central data pool requires good technical integration and communication with the data owners on the other end. Usually information from internal administrative systems had to be enriched for use in research reporting. Information from external sources was sometimes difficult to relate to internal records. Scientists may be reserved because they expect additional workload from CRIS 5

www.innovatives-niedersachsen.de

38

maintenance. Living up to the promise of more efficient research documentation requires a network of many processes and players. It can prove difficult to convince internal managers to join in using the CRIS data corpus instead of launching own surveys via e-Mail and text files. Some managers foster disproportional expectations regarding the timeliness and accessibility of the data. Supporting factors in our hands are: 

The CRIS tool is intuitive and easy to use



Information already present at the University is made available for the scientists



The CRIS offers standardized ways to access and reuse the data for different user groups



The data quality is monitored



Data in the CRIS is used consistently

Beyond the institutional level, challenges are face concerning the exchange of data with other systems: Researcher profiles cannot be transferred between institutions or into social networks. Project databases of funders are usually not accessible for institutions to retrieve data and subject-oriented information systems are not prepared to receive data from other CRIS systems.

The need for standardization CRIS hold high potential for research-related services and marketing which can only unfold if systems and portals are able to exchange data more efficiently. National and international initiatives have already formed to standardize research information, enable interoperability and harmonize reporting. euroCRIS, a non-profit organization, develops the Common European Research Information Format (CERIF) and fosters the uptake of CERIF both as data model and exchange format (CERIF xml) in several international projects and strategic partnerships. Leuphana has joined euroCRIS and encourages others to engage beyond their local projects and lobby for better pathways between research information systems, portals and social networks.

References 1.

Ebert, Barbara, Kujath, Alexander, Holtorf, Joachim, Holmberg, Karsten & Rupp, Thomas (2012): Erfahrungen aus der Einführung des Forschungsinformationssystems Pure an der Leuphana Universität Lüneburg. In: Bittner, Sven & Hornbostel, Stefan (Hrsg.) Forschungsinformation in Deutschland:

39

2.

3.

4.

5.

Anforderungen, Stand und Nutzen existierender Forschungsinformationssysteme. Workshop Forschungsinformationssysteme 2011 (iFQ-Working Paper No. 10). Mai 2012, S. 65-78. Jeffery, K. & Asserson, A. (2006) Supporting the Research Process with a CRIS. In: Asserson A. & Simons, E. (Eds). Enabling Interaction beyond the Hanseatic League. 8th International Conference on Current Research Information Systems, May 2006, Bergen, Norway, Leuven: Leuven University Press, 109-119. Jeffery (2010): The CERIF Model As the Core of a Research Organization. Data Science Journal, Volume 9, 24 July 2010 (Special Issue). (accessed online 21.8.2013: http://www.jstage.jst.go.jp/article/dsj/9/0/9_CRIS2/_pdf). Wissenschaftsrat (2011): Recommendations on the Assessment and Management of Research Performance (Drs. 1656-11). Halle, 21.11.2011 (accessed online 02.01.2014: http://www.wissenschaftsrat.de/download/archiv/1656-11_engl.pdf) Wissenschaftsrat (2013): Empfehlungen zu einem Kerndatensatz Forschung (Drucksache 2855-13). Berlin, 25.01.2013 (online: http://www.wissenschaftsrat.de/download/archiv/2855-13.pdf accessed 6.8.2013)

Acknowledgements Dörte Krahn from the University Marketing team at Leuphana contributed concepts described in section 3 for a joined presentation at the euroCRIS 2013 summer meeting in Bonn.

40

Using a CRIS to reduce workload and increase quality for research reporting and university marketing – prezentácia z konferencie

What you will hear about today A project A university A data collection put to use

Using a CRIS to reduce workload and increase quality for research reporting and university marketing A case study

CENTRUM VEDECKO TECHNICKYCH INFORMACII SLOVENSKEJ REPUBLIKY April 2nd, 2014 Dr. Barbara Ebert, Leuphana University Luneburg, Germany

02.04.2014

Research information management: Drivers in Germany

Living up to a promise….

Implementation of a CRIS leads to more efficiency in research documentation!

One decade of practice in output-oriented management  Performance-based funding, research evaluations  Professionalisation of (IT-supported) management in higher education and research

• Register once and reuse

Technical developments and Best Practice

• Reduce workload for single reporting requirements

 Tools for recording and analysis are available

German Council of Science and Humanities (Wissenschaftsrat) recommends improvements in research documentation (2011)

But in our use cases, quality of information is valued most.

 Common standards of data acquisition  Harmonisation of reporting systems  Service-orientiented administration

• Structured, enhanced, accessible, validated. 02.04.2014

2

Who we do it for: Leuphana University of Luneburg

A mid-size university in the metropolitan area of Hamburg

I

 80% Social Sciences & Humanities

II

Management & Entrepreneurship

26 Professors*

71 Professors*

A developing university in terms of academic reputation

02.04.2014

5

Raise key indicators Third party funding + publications

III

Membership in the German Research Foundation DFG

IV

Sustainability Research

Education Research

31 Professors*

43 Professors*

 College and Graduate School  Consecutive Master & Dissertation

3

Achieve recognition in the national and international research community

 20 % Natural & Technical Sciences

A model university in terms of study concepts

02.04.2014

Our mission: Developing a young university s reputation

Cultural Studies

 140 professors, 8.000 students

1

Close interaction between research & academic curriculum: research-based teaching

* Including double affiliations 02.04.2014

4

41

Collect distributed data & facilitate reporting

Implementation of a CRIS at Leuphana Where we are

Data sources

3 years of live operation 700 active database users 100 content editors in university institutions 30 use cases (research reporting) 6 major business processes adapted (ongoing) •

Publications Libray, external databases

CRIS

Journal ratings, citations Scopus, WoS, rating projects Persons, Organisations SAP HR, phone directory

Owners: Finance, Library, Marketing, Faculties

Doubling of bibliography (publication count)

Projects SAP, websites, project files

Effort 18 months preparation 30 person months full-time project manager XX person months inhouse staff (part-time) 2.500 tickets in issue management system

Awards & other activities websites

Enriched datasets Filter options Standard reports

reduce workload for reporting 6

02.04.2014

02.04.2014

Method: Decentralized data curation Aggregating information from several sources

Outcome A corpus of research information for reporting and marketing

Faculty and Institutes

Project directory

Data entered by individual researchers, teams and support staff 100 trained CRIS editors

• •

Third-party funding, internal projects Description, staff/partners, finance, outcome (publications, activities)

Expert directory •

Support team and Library

Person profiles with CV, plus recording of posts and offices, awards etc.

Publication repository with integrated full text management • •

Document management for Open Access (visibility, embargo dates) Integration of Sherpa Romeo Information (Open Access Policies)

Additional parameters relevant for research management. Validation of projects, publications, quality management

Directory of Funders and external cooperation partners

Databases

Tool for bibliometric analyses

Data from local and external sources of information. Either synchronised or imported (via API or by copy-paste).

Reporting & exhibition tool

•

02.04.2014

• • •

Registered with projects and publications Citations, journal ratings Flexible generation of lists, statistics, analyses Webservices and xml exports

8

Transition: Abandon occasional collection of e-Mail and text files „Dear colleagues, please send…“

02.04.2014

9

02.04.2014

11

Introduce consequent use of the CRIS data corpus “Dear colleagues, please update….”

CRIS

Register once and reuse!

02.04.2014

10

42

CRIS Policy at Leuphana 1.

Supporting factors

Information already available is integrated and reused as much as possible

The CRIS tool is intuitive and easy to use

 Finance information, person-organisation relations, publications

2. 3.

The data quality is good

Best practice has to be followed: information on purpose and indicators, opportunity to revise content for the purpose

Data in the CRIS is used consistently and registered as needed

Obligations for reporting are created on a case-by-case basis  

6.

The CRIS offers all user groups multiple ways to access and reuse the data (easy generation of simple lists, plus analytical tools, webservice)

Website, Leuphana Bibliography, institutional reports

Registered information can be used for all legitimate reports 

5.

or delegate it to an authorized editor in the institute

Information is registered when needed 

4.

Information already present at the University is made available for the scientists

Individual researchers register and manage their research information 

When acquiring internal funding (project, scholarship) When closing a performance agreement with president

Registered information is shared in the community (of database users) 

Reading rights for content, find related research, reviewers etc. 02.04.2014

02.04.2014

13

Two dozen processes regularly require research information – five examples we started with

Use Cases in Research Reporting Performance monitoring & acquisition of additional report processes

Organisation profiles State Research Portal

Publication report Performance-based funding

Knowledge Transfer Office

Faculty Business

Publication report Performance-based funding

Gender & Equality Office

02.04.2014

Faculty Culture

Evaluation Report Gender Research

14

Report International Activities 02.04.2014

15

Leuphana Research Awards Highlighting academic achievements & research active staff

Performance-based budgeting designed and performed in the Dean s offices Typical indicators:  Publications, weighted by type (sometimes by length, bonus for top journals)  Grant income  Offices & Posts in internal committees  Doctoral, Master and Bachelor theses  Teaching workload

Database  CRIS system („opt-in“ strategy, used by all four faculties) Feedback  Reporting module has reduced effort for data collection & analyses  Citations and impact factors / journal ratings are uploaded  Use of CRIS has increased transparency for researchers 02.04.2014

•

Research Award

•

Young Researcher Award

•

Monograph Award

•

Fundraiser Award

•

Most Cited Researcher

•

Ceremony at annual “Dies academicus”

•

Awardees receive bonuses between 1.000 and 3.000 € for their annual budgets

•

Total budget: 30.000 € p.a.

Process optimization: Workload for assessments dropped from 1.5 person months (2010) to <1 person month (2013) 16

02.04.2014

43

17

Subject survey and reports Pilot: Evaluation of Gender research in Lower Saxony

Research areas Institutional catalogue

Data collection for the subject field „Gender & Diversity“  More than 350 publications tagged in the CRIS and 40 experts identified  Efficient production of standardized reports

Publications

Activities and awards

External Funding 02.04.2014

18

Standard procedure for subject surveys & reports

02.04.2014

19

02.04.2014

21

02.04.2014

23

Internal surveys since 2011

Additional offer: Display current data on the website for reviewers

Requirements

 Legitimate purpose  Relevant indicators  Third-party funding  Awards  Transfer activities  Networks

Design of report template  Relevant content filtered by research area and period

Info to scientists & editor network

 Sorted by organisational unit

 Register projects & activities

Setup as scheduled report (weekly) to monitor data collection

 Period to be covered Production of a guideline for content editors

Gender & Diversity Studies – State Commission Report Cultural Studies – State Commission Report Theology – State Commission Report

Data collection

Research activities in Teacher Education – Accreditation report  170 faculty members, 15 research areas

 Check bibliography  Tag relevant work with research area

Entrepreneurship – Internal Assessment Sustainability Research – Biennial Report  Additional 70 publications, 120 press clippings 20 experts identified/registered

4 weeks for data updates

02.04.2014

20

A corpus of authorized research information

Use cases in Marketing

CRIS

Now available for dissemination

02.04.2014

22

44

 Search by research area  Free search

Typo3-Plugins for personal websites and institutions    

LEVEL

Leuphana Research portal

Researcher

ASPECTS

CRIS web integration: Different needs on different levels

Webintegration of CRIS data

Identify individual preferences with pilot users

Round-table discussions

Define needs & optimize webservice

Developing common understanding of standards

CV Publication lists Activities Projects

Rollout on every personal Homepage Instruction of CMS and CRIS editors

NEEDS

Observations  Intervals of updates differ between individuals  Some scientists prefer manual editing of their website 02.04.2014

Institute

Rollout of Pure Data when enough data is registered and visible

Tolerating Individuality

Faculty Faculty is involved via members and through research evaluations

Inhouse webservice development: 1.

Research Portal

Research output for each initiative: • Culture • Business & Economics • Education • Sustainability

2.

Typo3 Plugins for individuals, institutes, faculties

Developing Common Standards

24

Publication plugin on institute level

University

=> Perspective: Plugins plus Portal

Broad Use & Acceptance

Combining CRIS & CD 02.04.2014

25

02.04.2014

27

Publication plugin on individual homepage

02.04.2014

26

Offpage use in discovery systems: Summon

Offpage use: Feeding CRIS data into regional and local databases for better representation & recognition Three German examples of research portals „Forschung in Niedersachsen“: Regional transfer database • •

Mapping with local subject catalogue?!?

Previously:~ 100 outdated profiles Current: 210 Team profiles plus weblinks to related projects

Highlight local experts here?

SOFIS: social sciences research (D-A-CH) • • • •

Current LEU data: unknown Potential: 600 currentresearch projects plus related publications plus current organisation structure

Highlight current publications from CRIS system??

FIS Bildung: educational research (Germany) • •

Current LEU data: 90 Publications Potential: 400 publications (2011-2013) 02.04.2014

28

02.04.2014

45

29

Thanks for your attention

Individual researcher portfolios: What about academic social networks?

Academia.edu ResearchGate ORCID database LinkedIn Mendeley ……

Contact Dr. Barbara Ebert Research Service Leuphana University Luneburg Germany [email protected] 02.04.2014

30

02.04.2014

Organizational aspects

Editor network Best practice for data curation 100 persons •

Secretaries +

•

Scientists w/management tasks

Weekly „open lab“ •

60 min for individual troubleshoooting

•

4-8 attendants

Individual coaching at workplace

02.04.2014

32

02.04.2014

Reporter Working Group Establish best practice with Dean s offices & other groups

Research Support Services at Leuphana University Fundraising and project consulting (3 consultants) • • •

Present reporting cases and new templates

Find potential funding sources Check project proposals before submission to funder Research Transfer Office: contracts and projects with the private sector

Internal research funding

Share experiences and processes

•

„Seed money“ for ambitious or new research projects, preparatory phase for external funding

Research culture

Get information about developments in indicator usage and report requirements

• •

 generate input for further development of Research Database

Workshops, seminars and round tables: Fundraising, journal publishing, methods, good scientific practice Mentoring programme for young scientists

Research Reporting (1 research officer, 0.5 library staff) • • 02.04.2014

Key figures for management Leuphana Research Report, Support of Evaluations & Rankings 02.04.2014

46

35

Lessons learned

Consequent use of Leuphana Bibliography has increased registration of publications

High service level for users enhances compliance •

Initial report cases have to be chaperoned (Pure Team)

Secretaries, editors

•

 often highly motivated, proud to be

entrusted with task  Ad hoc individual coaching needed to quickly enable a units participation in a reporting project • Personal users  Use PURE intuitively or delegate completely  Registration service  Data analyst offers coaching and monitors data quality

• •

User competencies + data reliability often overestimated Editors need help for recording of history Development of report templates, understanding content and data quality

 Coherent communication of Pure as central data source during rollout in 2011  Reporting functions convince

Full text archiving needs qualified support •

Deans and administration

Scientists are guarded

 Service, accessibility and

Change in culture has to be addressed •

increased transparency convince

users / deans

Scientists uneasy about transparency/reading rights 02.04.2014

36

02.04.2014

Research and research assessments in Germany

Journal ratings uploaded as additional parameters f.e. surveys of the German Economics Professors Association

 421 Higher Eduction Institutions (HEI)  140 universities and HEI with equal status (allowed to award doctorates)

Upload in Research Database

 State Research Institutions    

02.04.2014

Starting grants for grant applications

Structured PhD Programme

Co-funding for Conferences

PhD Scholarship programme

Research Service with four consultants

Centre for Scientific Methods

Guest Scientist Programme

Research-based teaching/learning

ALMA: HR Development Programme Workshops, Seminars, Round tables for researchers

 Wissenschaftsrat (voluntary)  Federal State initiatives

 Performance-based funding

 Third-party funding  Awarded university degrees  Student numbers

 Institutional evaluations  Annual federal performance report

 86 indicators  Awards, bibliometrics, cooperations, external funding…

02.04.2014

39

02.04.2014

41

Fundraiser Award Indicator

Activating research potential Input-oriented Output-oriented

Conference participation, Symposia, Publications (100 T€)

Max Planck Society Leibniz Association Fraunhofer Helmholtz Association

 Subject-based evaluations

38

Fostering of research at Leuphana Young Scientists

37

Income on third-party funded projects of the past year, normalized to national benchmark in the field

Performance-based funding of annual budgets, sabbaticals and bonuses

Data SAP/CRIS

Annual research awards to highlight academic achievements

Data analysis Top 10 Fundraisers Monitor fundraising activity

 How many PI s reach or surpass national benchmark in their field?  How many Professors generate income from funding at all?

02.04.2014

40

47

Best Researcher Award

Publications: Weighting by discipline

Indicators Fundraising Citations Weighted publication output

Nomination Deans get Top Performer lists and nominate candidates to committee Data SAP/CRIS, Scopus 500 publications analyzed

Correct author relations in Scopus 02.04.2014

42

02.04.2014

48

43

Standardising research contexts towards system interoperability – and more

Brigitte Jörg CASRAI, JeiBee Limited, Londýn, Veľká Británia [email protected]

spojila svoju pracovnú kariéru s informačnými systémami o výskume a v súčasnosti pracuje ako riaditeľka firmy JeiBee Limited so sídlom v Londýne. Práci v EuroCRIS a dátovému formátu CERIF venovala takmer desaťročie a má významný podiel na jeho vývoji a šírení. Je členkou Rady euroCRIS a do minulého roka pôsobila ako vedúca pracovnej skupiny CERIF.

Summary Scientific activities are increasingly data-intensive and thus more and more reliant on access to data and consequently the information related to managing the data namely metadata. Data and metadata are found in information systems to support specific functions in defined contexts. Despite the proliferation of formal metadata standards and a similarity in functions across scientific information systems their interoperability remains a challenge. We anticipate that needs or requirements are prerequisite to define harmonized contexts from where the formal boundaries emerge towards guidance with formal standards selection, and the formal contextual representation and aggregation of meaningful applicable elements. We present recent CERIF work in this respect and thus approach system interoperability from different contextual angles, before we conclude by introducing related activities.

Introduction Scientific activities are increasingly data-intensive and thus more and more reliant on access to data and consequently the information related to managing the data namely metadata. Data and metadata are found in information systems to support specific functions in defined contexts [Greenberg 2003], [Jeffery et al. 2013], [Jeffery et al. 2014]. Despite the proliferation of formal metadata standards and a similarity in functions across scientific information systems their interoperability remains a challenge [Tenopir 2011]. A variety of stakeholders are engaged with the production and consumption of research information and data throughout the research lifecycle. These require a reflection in standardized formal interfaces as well as in underlying formal information and data descriptions. We anticipate that needs or requirements are prerequisite to define harmonized contexts from where the formal boundaries emerge towards guidance with formal standards selection, and the formal 49

contextual representation and aggregation of meaningful applicable elements. Funders, institutions, managers, researchers, curators, information technology, policy makers, the media, or the public have their own needs for accessing research information and underlying data6. The entity in the center of interest within the Research domain emerged from a long tradition with a well-understood concept – the scholarly publication record. Standardization approaches are reflected in scientific repositories and through metadata formats such as Dublin Core7, MODS8, METS9. More recently, repositories are additionally employed for the collection of datasets. Increasingly, the research community recognizes a wider scope of stakeholders and requirements [Whyte & Allard 2014], and acknowledges need for wider stakeholder coverage through CRIS systems in the academic domain [van Godtsenhoven et al. 2008]. The development of CRIS systems is strongly tied to CERIF – a formal data model10. The Common European Research Information Format CERIF11 emerges as a standard format [Rogers et al. 2009], [German Science Council 2013]. CERIF is a recommendation to Member States by the European Commission (EC). The responsibility for continued development and maintenance has been handed over to euroCRIS 12 (www.eurocris.org) a non-profit organization registered in the Netherlands. The office is hosted at DANS, the Data Archiving and Networked Services (www.dans.knaw.nl). Beyond the mere record type approach for information storage and exchange, CRISs are based on a domain model to supply a formal syntax for the description of domain entities and a declared semantics for the formal incorporation of multiple contextual vocabularies [Joerg et al. 2007], [Joerg et al. 2010]13. CERIF thus provides formal constructs to represent contexts or profiles that reflect stakeholder needs. Note: CERIF does not initially supply the definitions or requirements i.e. contextual boundary specifications but allows to incorporate and formalize them. It is thus open with respect to contexts or directions for aggregations and application of vocabularies according to identified requirements. The following section two briefly introduces CERIF. Section three explains how available profiles or contexts represent stakeholder views and how CERIF preserves meaning through a model-guided formal representation. Section four refers to ongoing related activities while section five concludes.

6

The Economic and Social benefits of big data (EUROPA press releases database, Neelie Kroes, May 23/05/2013): http://europa.eu/rapid/press-release_SPEECH-13-450_en.htm 7 Dublin Core Metadata Initiative (DCMI): http://dublincore.org/ 8 Metadata Object Description Schema (MODS): http://www.loc.gov/standards/mods/ 9 Metadata Enconding and Transmission Standard (METS): http://www.loc.gov/standards/mets/ 10 “Conceptual Modeling is the activity of formally describing some aspects of the physical and social world around us for purpose of understanding and communication” [Mylopoulos 1992] 11 CERIF: An EU Recommendation to Member States (by CORDIS). http://cordis.europa.eu/cerif/home.html 12 euroCRIS Mission: „Advance Interoperability in the Research Community through CERIF”. http://www.eurocris.org 13 CERIF allows for the representation of any structure and mappings in between vocabularies and vocabulary terms through its declared semantics or its so-called Semantic Layer [Jörg et al. 2007].

50

Standardising Research Contexts through CERIF We understand, a context is a harmonization of agreed requirements through engaged stakeholders; i.e. the definition of a maximum valid range of employable entities and their relationships for their contextual formal aggregation and thus implementation; the specification for standardized formal boundaries.

Figure 1: CERIF entities and their relationships without anticipated contexts. CERIF allows for the implementation of contexts according to requirements. The requirements guide the selection of entities, their relationships and the applicable contextual vocabularies. The examples in sections three explain identified contexts and demonstrate their implementation through CERIF

Identified Contexts This section introduces identified requirements or research contexts, and demonstrates how these contexts or profiles represent stakeholder views and how CERIF enables for the preservation of their meaning through its model-guided approach and by supplying formal syntactic and semantic constructs. The UK Jisc-funded UKRISS project developed a core information reporting profile in CERIF [Joerg et al. 2014]. The CASRAI Abridged CV was mapped to CERIF [Joerg et al. 2014]. The Snowball Metrics project chose CERIF for the formal description of the Metrics [Clements et al. 2014]. The EC-funded OpenAIRE Open Access pilot employs a CERIF profile for CRIS interoperation [Houssos et al. 2014].

51

UKRISS Research Reporting Profile The Jisc-funded UK Research Information Shared Service (UKRISS) project developed a core reporting profile in CERIF enabling harmonized reporting on RCUK-funded research. The core profile development followed the requirement that “institution submits final report to funder”.

Figure 2: UKRISS Core Information Reporting Profile.

To maintain consistency with the formal reporting objects’ structure an upper reporting level has been introduced. It guided not only the object structure but in addition reflected the funder’s view according to which the reporting objects have finally been classified. A publication or event is thus defined as “Research Output”, while Spinout or Collaboration are considered “Research Outcome”. More detailed information about the formal description of each reporting object, its generic elements, its applicable aggregations and vocabularies based on CERIF are available in the final report and publicly accessible through the UKRISS blog (http://ukriss.cerch.kcl.ac.uk).

CASRAI Activity Profile CASRAI is a standards development organisation supported by an international community of research funders and institutions. CASRAI maintains and develops profiles for research administration information, such as: Research Activity; Research Personnel, Academic Funding CV, Non-academic Funding CV, Student CV, Abridged CV. A first draft of a formal CASRAI in CERIF description for the CASRAI Activity profile has been

52

introduced at the CASRAI UK Summit14 convened by CASRAI and Jisc. Figure 3 reflects the profile elements through formal CERIF constructs and presents the CASRAI dictionary terms within their contextual range of the formal CERIF constructs.

Figure 3: CASRAI Activity Profile in CERIF.

A formal crosswalk or mapping of the CASRAI Abridged CV profile in CERIF will be available after the CRIS 2014 conference in Rome [Joerg et al. 2014].

Snowball Metrics The Snowball Metrics initiative aims at sharing the knowledge and experiences for a best practice in evidence-based institutional strategic planning. The ‘recipes’ or methodologies are available with the Snowball Metrics Recipe Book (www.snowballmetrics.com/metrics). CERIF has been applied as a formal description format for the Snowball Metrics [Clements et al. 2014].

14

Two Peas in a Pod (CASRAI and CERIF): http://cerifsupport.org/2012/12/17/cerif-casrai-profiling/

53

Figure 4: Generic Snowball Metrics structure in CERIF15.

The general structure of a Snowball Measurement has been introduced at euroCRIS Member Meetings in Bonn and in Porto. Figure 4 is an extract of one of the slides presented in Porto where the CERIF task group approved the cerification. It shows the formal CERIF constructs behind the generic Snowball layout, which is then applied consistently with each individual Metric. CERIF not only allows for the formal description of each Metric, but also for the formal description of the entire set of Snowball Indicators and their structure.

OpenAIRE Guidelines for CRIS Managers OpenAIRE gathers research output related to European funding streams supporting open science and tracking research impact. OpenAIRE Guidelines 16 have been developed for CRIS Managers to expose their metadata in a way that is compatible with the OpenAIRE infrastructure [Houssos et al. 2014]. Formal CERIF XML representations have been provided to ensure the consistent implementation and thus quality with data interchange of defined entities. The range of entities in the OpenAIRE context is indicated in figure 5. For more details we refer to the public website.

15

Snowball Metrics presentation at euroCRIS Members Meeting in Porto (November http://www.eurocris.org/Uploads/Web%20pages/members_meetings/201211%20-%20Madrid,%20Spain/TG%20meetings%20%20Anna%20Clements-Lisa%20Colledge%20(Snowball%20Metrics).ppt 16 OpenAIRE Guidelines for CRIS Managers: https://guidelines.openaire.eu/wiki/OpenAIRE_Guidelines:_For_CRIS

54

2013):

Figure 5: Range of employed OpenAIRE entities in CERIF.

Related Work The identification of stakeholder requirements has been recognized as a prerequisite for their harmonization and thus standardization. Stakeholder views have been investigated through life-cycle model approaches [Whyte & Allard 2014] especially related to Research Data Management activities17. We therefore want to mention the ongoing related work, activities and initiatives such as with the UK’s Digital Curation Centre (DCC) (www.dcc.ac.uk/), and the Research Data Alliance (RDA) (www.rd-alliance.org) in particular, with ongoing and continued collaboration between the RDA Metadata Working groups: 

Data in Context Interest Group: https://www.rd-alliance.org/group/data-context-ig.html



Metadata Standards Directory Group: https://www.rd-alliance.org/group/metadata-standards-directory-working-group.html



Metadata Interest Group: https://www.rd-alliance.org/group/metadata-ig.html

Relevant further ongoing activities are certainly VIVO (www.vivoweb.org), ORCID (www.orcid.org), COAR (www.coar-repositories.org), and also ALLEA (www.allea.org/), EARMA (www.earma.org/), EUNIS (www.eunis.org/) and APA 17

A rich collection of requirements resulted rom a CKAN or RDM workshop: https://docs.google.com/spreadsheet/ccc?key=0Arh4BnSV2XSIdGxibkhLXzhsUVZzVTl6MWdYOWVMcWc&usp=sharing#gid=0

55

(http://www.alliancepermanentaccess.org/), to mention just a few of the strategic partnerships maintained by euroCRIS.

Conclusion The investigation of the introduced approaches and profiles and active engagements in the above mentioned initiatives and activities revealed the need for contextual clarity through identification of requirements for guidance with harmonized formal representations of contexts or profiles. The profiles or specifications then become much more understandable and thus wider re-usable and therefore sharable and interchangeable.

References 1.

[German Science Council 2013] Empfehlungen zu einem Kerndatensatz Forschung: http://www.wissenschaftsrat.de/download/archiv/2855-13.pdf (Wissenschaftsrat 2013: see also project website Research Core Dataset: http://www.researchinformation.de/Projekte/Research_Core_Dataset/projekte_research_core_dataset.asp) 2. [Greenberg 2002] Greenberg J. Metadata and the World Wide Web. The Encyclopedia of Library and Information Science, Vol.72, 224-261, Marcel Dekker, New York, 2002. 3. [Joerg et al. 2014] Jörg B; Höllrigl T: Baker D. Harmonising and Formalising Research Administration Profiles - CASRAI/CERIF. In Proceedings CRIS 2014. To appear. 4. [Joerg et al. 2014] Jörg B; Waddington S; Jones R; Trowell S. Harmonising Research Reporting – Experiences and Output from UKRISS. InProceedings CRIS2014. To appear. 5. [Clements et al. 2014] Clements A.; Jörg B.; C. Lingjærde C.; Chudlarský T.; College L. The application of the CERIF data format to Snowball Metrics. In Proceedings CRIS 2014. To appear. 6. [Joerg 2010] Jörg B. CERIF: The Common European Reseach Information Format Model. Data Science Journal. Volume 9, Special Issue: CRISs for the European e-Infrastructure (Jul. 2010), CRIS2431. 7. [Jeffery et al. 2014] K. Jeffery; N. Houssos; B. Jörg; A. Asserson. Research Information Management: the CERIF approach. International Journal of Metadata, Semantics and Ontologies, Inderscience Publishers, pp. 5-14, Computing and Mathematics, 2014. 8. Jeffery et al 2013. A 3-Layer Model for Metadata. Keith G Jeffery, Anne Asserson, Nikos Houssos, Brigitte Jörg. InProceedings: International Conference on Dublin Core and Metadata Applications 2013. 9. [Houssos et al. 2014] N. Houssos, B. Jörg, J. Dvořák, P. Príncipe, E. Rodrigues, P. Manghi, M.-K. Elbæk. OpenAIRE Guidelines for CRIS Managers: Supporting Interoperability of Open Research Information through established standards. CRIS2014 to appear. 10. [Joerg et al. 2007] B. Jörg; K. Jeffery; A. Asserson; G. van Grootel. CERIF 2006 – 1.1 Full Data Model (FDM) – Introduction and Specification. euroCRIS October 2007. http://www.dfki.de/~brigitte/CERIF/CERIF2006_1.1FDM/CERIF2006_FDM_1.1.pdf 11. [Joerg et al. 2010] B. Jörg; K. Jeffery; A. Asserson; G. van Grootel; H. Rasmussen; J. Dvorak; D. Zendlukova; A. Price; T. Vestdam; M.K. Elbæk; N. Houssos; R. Voigt; E.J. Simons; CERIF 2008 – 1.2 Semantics. euroCRIS, November 2010. http://www.eurocris.org/Uploads/Web%20pages/CERIF2008/Release_1.2/CERIF2008_1.2_Semantics. pdf 12. [Moreau & Missier 2013] Moreau, L. & Missier, P. (Eds.) (2013) PROV-DM: The PROV Data Model. W3C Recommendation. Retrieved Nov 11, 2013 from the World Wide Web: http://www.w3.org/TR/2013/REC-prov-dm-20130430/

56

13. [Mylopooulos 1992] J. Mylopoulos: Conceptual Modeling and Telos. P. Loucopoulos and R. Zicari (Eds.) Conceptual Modeling, Databases and Case. pp. 49-68, Wiley, 1992. 14. [Paskin 2003] N. Paskin. Components of DRM Systems, Identification and Metadata. In Becker, E., Buhse, W., Günnewig, D., & Rump, N. (Eds.), Digital Rights Management, Lecture Notes in Computer Science 2770. Retrieved Nov 11, 2013, from the World Wide Web: http://dx.doi.org/10.1007/10941270_4 15. [Rogers et al. 2013] N. Rogers, L. Huxley, N. Ferguson. Exchanging Research Information in the UK. EXRI-UK: A study funded by JISC. 2009. Web. 6. Sept. 2013. http://repository.jisc.ac.uk/448 16. [Tenopir et al. 2011] Tenopir C, Allard S, Douglass K, Aydinoglu AU, Wu L, et al. (2011) Data Sharing by Scientists: Practices and Perceptions. PLoS ONE 6(6): e21101. doi:10.1371/journal.pone.0021101 17. [Whyte & Allard 2014] Angus Whyte and Suzie Allard. How to Discover Requirements for Research Data Management Services. Digital Curation Centre (DCC), March 2014. http://www.dcc.ac.uk/sites/default/files/documents/publications/DCC_Howto_Discover_Requirements. pdf

57

Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability – and More

Outline Standardizing Research Contexts Towards System Interoperability – and More

• Setting the Scene • Where sits CERIF ? • What are recent / ongoing related activities ?

Research information systems: integration for Open Access to scientific outputs

• Where do we go ?

CVTISR, Bratislava April 2nd, 2014 Dr Brigitte Joerg, euroCRIS, EU JeiBee Ltd. London, UK

www.eurocris.org

1

www.eurocris.org

2



Where do we start?

Setting the Scene

MARC

W3C

• Science as a global Ecosystem

ORCID

• Standardising

• Increasingly Data Intensive • Increasingly Open Access

• Context

CAURA EARMA ARMA

• A Multitude of Standards

www.eurocris.org

4

UK REF

Where do we start? MARC CERIF

Scientific Outputs DataCite

CAURA Publication EARMA ARMA

COAR

• Interoperability OpenAIRE

OAI-PMH www.eurocris.org

• What are needs / requirements ?

CASRAI

ORCID • Standardising Integration for Open Access to PREMIS

ISO

PROV RDA

• What has been done ?

CODATA

DCAT

• What is the context ?

OMG

OAIS Data

• What are the boundaries ? Jisc Research Lifecycle

UK REF

etc.

www.eurocris.org


Where do we start? W3C

OMG

Jisc Research Lifecycle

COAR

OAI-PMH


5

DCAT

OAIS

OpenAIRE

• Requirements ??

ISO PROV RDA

CODATA

• Interoperability

• Not many Standards in Use

• Context

CASRAI

PREMIS DataCite

• Technology / IT

3

CERIF

• Which standard is appropriate for my need ? • How to reuse / collaborate / apply correctly ?

etc. 6

58

www.eurocris.org



CERIF Data Model

CERIF OpenAIRE Profile

www.eurocris.org

7

www.eurocris.org

8



CERIF-related Activities

REF Reporting Profile

Profiling / Aggregation / Setting Boundaries • • • • • • • • • • 9

REF CASRAI VIVO EuroRIs-Net+ UKRISS OpenAIRE ENGAGE Snowball Metrics RMAS etc. ... www.eurocris.org



Data in CERIF

CASRAI Activity Profile

11

www.eurocris.org

www.eurocris.org

10

12

59

www.eurocris.org



UKRISS – Publication Counts in ROS

Snowball Metrics (e.g. Publication/Output) cf OrgUnit

UKRISS:Output Description

Institution Sector Stakeholder

cf Class ROS/RF Mapping

Measurement period

Journal Article

cf Measurement Description Number of outputs (cf Count) Reference to ongoing Mapping/Work in Snowball Metrics: Anna Clements, St. Andrews Lisa Colledge, Elsevier Brigitte Jörg, euroCRIS http://www.snowballmetrics.com 13

Service ROS / RF

Date measurement was created Date of data currency

www.eurocris.org

14



Publication Counts in ROS

Publication Counts in ROS

Extract:„Publication reported to ROS.“

Extract: „Institute reports Publication.“

www.eurocris.org

www.eurocris.org



UKRISS – Harmonisation Profile

Staff Development in ROS/RF

www.eurocris.org

www.eurocris.org

18

60

www.eurocris.org


FundRef

DESCRIBE

CERIF-XML REF Reporting Profile

Snowball

GTR

ROS

G4HE

CERIF in UK

Uniquip

CERIF

R4R

Research Information Standards

CiA

MICE

Machine Anatomy in UK and Germany

IRIOS-2

CRISPool

CERIFy

C4D

ResearchFish

RMAS-EE

RMAS

REDIC

CSP

Annual CASRAI International Conference Ottawa, October 16-18, 2013

V4OA

UKRISS

RIOXX Mathias Riechert, Institute for Research Information and Quality Assurance (IFQ), Berlin, GER Brigitte Jörg, euroCRIS, EU / CASRAI, INT

Research in View

Scival

Pure

Converis

Symplectic Elements

Cottagelabs

EPrints

www.eurocris.org

www.eurocris.org



UKRISS Objects • Publication ✓ • Intellectual Property • Product/Intervention • Spin-Out • Collaboration/Partnership • Further Funding ✓ • Staff Development ✓ • Dissemination/Communication • Exploitation • Award / Recognition ✓ • Key Findings ✓ = UK – GER Overlap • Impact • Dataset • Event Underlying Vocabularies are not considered here

Science is a global Activity

Current Harmonisation

Potential Harmonisation

Intellectual Property

Publication

Datas e t

Collaboration / Partners hip

Dis se min atio n/ Co mm uni cati on

E v e n t

Product / Intervention

Exploitation

Spino ut

U KRI S S

Vocabu- laries

Award Recognition

Im pac t

UK P ro jec t s

Fur the r Fun din g

Key Finding s

Staff Development

Objects

ROS

ResearchFish

ResearchFish

GtR

CERIF

Science is a dynamic Ecosystem

www.eurocris.org

22


www.eurocris.org


CASRAI Dictionary

Jisc Research Lifecycle

Image Source: PhD Thesis, Brigitte Jörg, July 2013

23

www.eurocris.org

ROS

24

61

www.eurocris.org



DCC – The Curation Lifecycle

Jisc Research Lifecycle Project Organisation Service Publication Data

http://www.dcc.ac.uk/digital-curation/what-digital-curation 25

www.eurocris.org

www.eurocris.org

26



DCC – The Curation Lifecycle

DDI Lifecycle

Dataset Collection

Service Publication

http://www.dcc.ac.uk/digital-curation/what-digital-curation 27

www.eurocris.org

www.eurocris.org

28


DDI Lifecycle


Emerging e-Infrastructure Discovery

Dataset Collection

Contextual (CERIF)

Service Publication

Scheme Jeffery et. al. 2013 http://resources.metapress.com/pdf-preview.axd?code=vl5422n2u7112669&size=largest 29

www.eurocris.org

www.eurocris.org

62



Application of Metadata Standards

RDA Data in Context IG Brigitte Jörg; Keith Jeffery Co-Chairs Deliverables: • M6: Overview of contextually-aware standardization work

• M12: Priority List of Requirements

Become a Member: http://rd-alliance.org www.eurocris.org

31

www.eurocris.org



We are the Machine CASRAI

www.eurocris.org

33



What do we need ?

35

•

Stakeholders‘ Needs / Requirements

•

Networking / Collaboration / Partnerships

•

Communication

•

Reuse / Extension of Existing Work

•

Appropriate Standards Selection / Application

•

Contextual assignment to e.g. the Research Lifecycle

•

Formalisation of reusable Profiles (Syntax + Semantics)

•

Best Practises

www.eurocris.org

34

What do we gain? • Understanding the Context (Boundaries) • Meaningful System Interoperation

• Improved Data / Information Quality -> Informed Decisions • Scalable Systems • Sustainable Systems

• An Integrated / Dynamic Research Ecosystem www.eurocris.org

36

63

www.eurocris.org


EuroCRIS


Strategic Partnerships

What we do not want ?

EUNIS in preparation

37

www.eurocris.org

38

www.eurocris.org


Upcoming Events

euroCRIS Members Meeting Amsterdam, the Netherlands November 2014 39

www.eurocris.org

64

Repositories, CRIS and CRIStin: the story so far

Anne Asserson University of Bergen, Nórsko [email protected]

pracuje v univerzitnej knižnici Univerzity v Bergene, Nórsko. Má na starosti správu digitálnych systémov a služieb s dôrazom na výsledky výskumu.

Abstract The management and utilisation of Research information has been evolving over many years. The paper traces the major threads of activity in repositories and CRISs, characterise them and discuss their usage. Further the paper considers the evolution of the technology to match the changing requirements of users for research information and indicate future directions.

Repositories Repositories are ICT systems to store objects. Usually repositories refer to stored scholarly publication objects, although increasingly other objects – such as datasets – are stored in repositories. Purpose There are two basic stored objects in repositories: metadata and data. Typically the latter is the full text (or increasingly hyperlinked multimedia) of the scholarly article. The former has been subject to different influences namely (a) the librarian, cataloguing, community where the standard used internationally is MARC and (b) the web page community where the standard used internationally is DC (Dublin Core). The advantage of MARC is its relative richness compared with DC, its compatibility with library catalogues of non-electronic objects and its ability to hold all the attributes required for a full bibliographic reference. The advantage of DC is its simplicity and ease of use.

65

Experience of Utilisation Systems for cataloguing scholarly articles have been in existence for many years; commonly researchers (or the library on their behalf) had handwritten and then punched cards with the bibliographic information of their publications later becoming electronic records in files. However, it was not until the advent of WWW that repositories with metadata and the full article appeared in any significant numbers. Typically an institutional repository today will hold ~15% of the scholarly output of the institution as full text of the articles and a higher percentage as metadata recording the existence of the article. Some repositories hold only published (i.e. peer-reviewed) scholarly articles whereas others include all research output – suitably distinguished. The repositories are ‘green OA’ that is the articles are either the version as published by the publisher (some publishers insist on this, others prohibit it) or the final article as submitted for publication after peer review and editorial corrections. The business model remains the traditional one of library subscriptions for publication channels (journals, conference proceedings etc.) Overwhelmingly the repositories use DC as the metadata standard although many repository systems have extended DC in divergent and incompatible ways thus making interoperation difficult. Retrieval is usually by text string search over all the metadata although systems where the search is restricted to particular elements (attributes) exist. The result is (compared with classical library catalogue systems) rather poor relevance and recall (precision). The low degree of ‘fill’ of repositories can be ascribed to several factors: (a) the threshold barrier to input the metadata and load the article; (b) pressure and restrictions from commercial publishers through copyright and other legalistic mechanisms; (c) lack of perceived benefit. It has been demonstrated that articles in an open access institutional repository attract more citations than those not in the repository (Harnad, Swan 2009). This provides a refutation of (c). The factor (b) is significant; publishers have threatened authors legally if they deposit in an institutional repository and researchers clearly wish to have their work published in high-impact publication channels where their peers can see their work. Mandates by research funders and research institutions have provided researchers with protection and increased significantly the deposition of articles in ‘green’ repositories (Harnad, Swan 2009). although continued legalistic threats and legalistic uncertainties by publishers hinder progress. Recent systems to assist a researcher in managing their bibliography (Mendeley, ResearchGate, LinkedIn) have complicated the issue since they tend to store only the bibliographic metadata and provide a pointer (URL) to the scholarly article. Recent developments have provided a way forward – namely ‘gold OA’ where the publishers extract payment from the author / author institution for publication and then make the article available open access on the publisher website. Depending on the licence, it may be possible for a researcher (or an institutional library) to download a copy of the article for their own institutional repository. Initial estimates indicate that for a high-output research institution ‘gold’ OA costs three times as much as ‘green’. However, the publishers are pushing this

66

model singly and recently the UK government accepted this as the preferred model (Finch 2012) The (a) factor is also significant; the solution is to collect the metadata as available within the workflow of all the users (researcher, librarian, publisher) progressively and to input only once without any re-keying. OAI-PMH is used as the interoperation protocol allowing harvesting of metadata from any compliant repository. The syntax of DC elements from different repositories can be combined together as long as the simple element structure is followed; the use of repeating groups or extended namespaces frustrates interoperation. Multilinguality and differing semantics (meaning of the lexical string) makes interoperation without much human intervention impossible. The result is that using a repository –and through it a window to other repositories requires much user interaction to filter the results manually to the required subset to meet the retrieval request intended rather than that expressed by the limited syntax and semantics. The lack of fill of repositories means that the end-user retrieval result is incomplete. Management Information A library online catalog system, especially when cross-linked to others – provides a basis for management of research information concerning scholarly output in the form of publications. Publishers also can utilise their catalogs for a similar purpose. The publication indexing services from Thomson-Reuters and Elsevier provide a reasonably comprehensive cover of scholarly publishing (there is a bias towards STM (Science, Technology, Medicine) and English-language) including citations. However, in these systems the recording of author names is variable (partly depending on the editorial style of the publication channel) and the recording of author institution inconsistent. This means that assignment of publications to persons and organisations is less accurate than is desirable. Attempts by Thomson-Reuters and others to assign author IDs and organisational IDs have been partly successful (although some ambiguities still exist particularly in evolving author names or evolving institutional structures and names). The recent ORCID initiative started with IDs for researchers (one step away from the role of authors) but realised quickly that much more metadata was required to allow disambiguation and so now is recording much of the information required by the CERIF model. Increasingly there is a requirement – especially from research funders but also from research institutions managing their research portfolio) to relate scholarly articles to research funding (grant or grants) as well as to person(s) and organisation(s). Furthermore, there is a requirement also – when appropriate - to relate the publication to particular research facilities and/or equipment. These metrics are used for benchmarking institutional performance and for research funders to assess the research performance against funding for researchers and institutional organisations. It is clear that repositories using DC for metadata are incapable of meeting these new requirements for management information on research. (Jeffery, Asserson 2006)

67

In the last few years there has been a demand from governments to justify the research expenditure on the basis of impact of the research on society (wealth creation, improvement in the quality of life) rather than the outputs. This new requirement is way beyond the capability of repositories.

CRIS Purpose The purpose of a CRIS is to record research information for the purposes of management and utilisation by a funder, research institution or researcher and for utilisation by innovators, entrepreneurs, the media and the public. The development of the CERIF model by an expert group of national representatives convened by the EC was a major step forward for harmonisation and interoperability. CERIF91 was a ‘flat’ metadata scheme not unlike the (much later) DC; the difficulties were soon realised and the expert group reconvened to define CERIF2000 which – with subsequent evolution – provides a formal syntax and declared semantics for CRIS today. CERIF is used in 43 countries and is the national standard for research information in 10. Experience of Utilisation The period before 1980 is characterised by individual batch processing systems of the funding organisations. These systems recorded awarded (sometimes proposed) research project grants usually with identifier, title, PI (principal investigator) and institution of the PI together with the amount awarded. Sub-records recorded the financial transactions. Subsequently the funding systems became more sophisticated including abstract of the research grant and keywords. This led to the requirement for a standard for interoperation and CERIF91 was developed. Subsequently the requirement was extended to cover research outputs and for flexible relationships between multiple funders, research organisations, persons and research grants / projects. This led to the development of CERIF2000. The relationship between research grant and associated postgraduate awards was recorded and the relationship to research facilities and equipment; among other requirements these have driven the evolution of CERIF to the current version. CRIS are in widespread use and providing day-to-day management information for research funders and research institutions. Increasingly CRIS are becoming CERIFcompatible (a) to permit interoperation but more importantly (b) because the model reflects accurately the real world of research information. Several commercial companies offer CERIF-compatible CRIS and both Thomson-Reuters and Elsevier offer CERIF-compatible products.

68

Management Information Since CRIS were designed from the outset for managing research information naturally this is their strongest aspect. CERIF-CRIS have evolved (maintaining backwardcompatibility) with the increasingly complex demands of governments, funders, research institutions researchers and others for management information.

Development We have two major streams of development in recording and managing research information: repositories and CRIS. The former concentrate on research publications (with some limited associated information on persons, organisations) and the latter initially on research projects (with limited associated information on other entities) but in the last decade allowing the point of access to the information to be any research entity (person, organisation, project, funding, publication….). To meet the evolving requirements of the end-users developments have been attempted, are ongoing and planned. Repositories extended Against the background of the REF (Research Excellence Framework, replacing the earlier RAE (Research Assessment Exercise) in UK a JISC (Joint Information Systems Committee of HEFCE (Higher Education Funding Council England) funded a project – Readiness4REF (R4R) - to extend repository systems to encompass the requirements of REF. The repository system used was ePrints based at University of Southampton. While the project demonstrated technical feasibility (in IT one can do almost anything given sufficient resources) the effort required, the difficulty of use and the limitations of the data model adopted led to the conclusion that it is better to use a CERIF-CRIS. CRIS evolving As indicated above CRIS generally are evolving to adopt CERIF and the move from CERIF91 to CERIF2000 and beyond has enhanced greatly the applicability of CRIS to the evolving requirements. It is widely accepted that the evolving CERIF standard provides the basis for CRIS meeting the new requirements emerging and expected. Integration Repositories exist, are maintained and used, and have – to varying degrees – captured research output in the form of publications. Similarly CRIS exist and are used, capture all aspects of research information with a formal datamodel (CERIF), and are evolving with changing requirements. CERIF-CRIS are capable of representing everything that is stored in repositories whereas repositories are not capable of representing everything stored in CRIS.

69

This begs the question – why have repositories? Indeed, some research institutions have abandoned their repositories and are using a CERIF-CRIS alone for all functions including those previously done by repositories. However, most research institutions are attempting to integrate their repositories and CRIS. In so doing the major question is ‘what metadata standard is used and where is the metadata stored’. The starting position is Repositories with DC and CRIS with CERIF. Then the options are: 1. Input DC to repository and CERIF to CRIS; 2. Input DC to repository and copy/convert to CERIF for CRIS; 3. Input CERIF to CRIS and copy/convert to DC for repository; Clearly (1) is wasteful of resources and error-prone (there are likely to be inconsistencies in metadata in each system) yet in fact is the currently most-practised method, mainly due to organisational rigidity and the ownership of the repository being with the library and the CRIS with the research administration. (2) is impractical since CERIF is a much richer datamodel than DC and so would be essentially empty with only a few attributes (elements in DC) filled. This option is not used. (3) is widely used and especially when the organisational problems between the library and the research administration have been resolved. CERIF to DC (in various instantiations) convertors exist so that – if required – the DC-compatible metadata elements in CERIF can be provided to the repository for local catalog purposes. An example of (3) is found in Norway. The national CRIS is CRIStin and is (largely) CERIF-compatible. Different research institutions have different repository systems. CRIStin stores metadata for research publications (through a process involving download from Thomson-Reuters Web of Science, clean-up and validation of claiming of publications by researchers) and current work is linking these metadata records in CRIStin to the full text / multimedia articles in the institutional repositories via pointers (URLs). Thus the user has the advantage of the full context of the research (via CRIStin) and also access to the stored scholarly output in the repository.

Conclusion We expect over the next years further developments. In general, repositories will store the scholarly output full text/multimedia and CERIF-CRIS will store the data/metadata providing the full context of the research. Interoperation will be via CERIF – even for access to publications in other repositories. This is because increasingly the end-user wants not just the research publication but also its context – the project, persons, institutions, funding, facilities/equipment and (very importantly) associated datasets and software. With time the full text/hyperlinked multimedia of scholarly publications will reside either in a simple file store (for fast access, pointed to from the CERIF-CRIS) or within the CERIF-CRIS itself.

70

Then, the CERIF-CRIS can be used to manage the full research lifecycle of all kinds of users from managers to researchers. For the former research management is evidencebased and justifiable; for the latter the e-Research environment will have arrived (Jeffery 2012).

References 1. 2. 3. 4. 5.

CERIF http://www.eurocris.org/Index.php?page=CERIFreleases&t=1 CRIStin www.cristin.no DC http://dublincore.org/documents/dces/ (Finch 2012) Finch report http://www.researchinfonet.org/publish/finch/ (Harnad, Swan 2009) Stevan Harnad, Les Carr, Alma Swan, Arthur Sale and Hélène Bosc: ‘Open Access Repositories.Maximizing and Measuring Research Impact through University and Research-Funder Open-Access Self-Archiving Mandates’ Forschungsinformation VII, 2009 6. (Jeffery 2012) Keith Jeffery : ‘CRIS in 2020’ Invited Keynote in Proceedings 11th International Conference on Current Research Information Systems (CRIS2012), Prague June 2012; ISBN 978-8086742-33-5 7. (Jeffey 2006) Keith G Jeffery and Anne Asserson: ‘Supporting the Research process with a CRIS’ In: ‘Enabling Interaction and Quality: Beyond the Hanseatic League. Proceedings 8th International Conference on Current Research Information Systems (CRIS2006), Bergen 2012; ISBN 978-90-5867536-1 8. MARC http://www.loc.gov/marc/ 9. OAI-PMH http://www.openarchives.org/pmh/ 10. ORCID http://orcid.org/ 11. Readiness4REF (R4R) http://www.jisc.ac.uk/whatwedo/programmes/inf11/sue2/r4r

71

Repositories, CRIS and CRIStin: the story so far – prezentácia z konferencie

Repositories, CRIS and CRIStin: the Story so Far

• • • • •

Anne Asserson Digital Systems and Services University Library

Repositories Structured systems and Managment information CRIStin Open Access Integration

Bratislava, 2 April 2014

2

• Repositories store objects (full text, multimedia, and datasets) • Keep ca 15% of the institutions full text • Metadata recording the existence of articles, books and chapter i books will of course be higher. • Different attitude to what is stored

2 major streams of Development in recording and managing scholar information – Repositories – CRIS (Current Research Information System)

– Only Peer reviewed – All research output


3


• OAI-PMH is used as the interoperation protocol allowing harvesting of metadata from any compliant repository. • The syntax of DC elements from different repositories can be combined together as long as the simple element structure is followed; • the use of repeating groups or extended namespaces frustrates interoperation. • Multilinguality and differing semantics (meaning of the lexical string) makes interoperation without much human intervention impossible.

The low degree of ‘fill’ of repositories can be ascribed to several factors: (a) the threshold barrier to input the metadata and load the article; (b) pressure and restrictions from commercial publishers through copyright and other legalistic mechanisms; (c) lack of perceived benefit.


4

5


72

6

• • • • •

• Increasingly there is a requirement –from research funders and research institutions to relate scholarly articles to research funding (grant or grants) as well as to person(s) and organisation(s). • and when appropriate - to relate the publication to particular research facilities and/or equipment.

Repositories Structured systems and Managment information CRIStin Open Access Integration


7


8

…..typical Research Objects in a CRIS Institution

• The purpose of a CRIS (Current Research Management System) is to record research information for the purposes of management and utilisation by a – funder – research institution or researcher and – for utilisation by innovators, entrepreneurs, – the media and the public.


Books

Person / CV Publisher Research Group

Equipment

Journal/article

9

Patent

Event

Project

10

CRIS Requirement at Institution level

….for Reseachers /end users

• • • • • •

• avoid duplication of research activity • to evaluate opportunities for research funding • analyse research trends, locally, regionally and internationally • references/links to full text • locate new contacts/networks • identify new markets for products of research

a tool for policy making evaluation of research based on outputs document the research activities document research output a formal log of research in progress to assist project planning. 11

12

73

CERIF short history • 1987-90 European experts to define a Common European Research Information Format CERIF • 1991 a single record format and a research classification scheme (not updated from 1988) • Research documentation and CRIS more important • 1997 ERGO European Research Gateways Online) pilot – a single catalogue of projects from national databases, 20 countries 90.000 records • 2000 CERIF model

• It is clear that repositories using DC (Dublin Core) for metadata are incapable of meeting these new requirements for management information on research. • Such as – benchmarking institutional performance and for – research funders to assess the research performance against funding for researchers and institutional organisations

13


14

CERIF (Current Research Information Format) Model

CERIF Common European Research Information Format

PROJECT

OrgUnit M member

ORGUNIT

PERSON

Part of

employee

Person A

OrgUnit O

member

OrgUnit N

Project leader

Part of

Result_Publication

Patent Books

Project P

Equipment

author owns IPR

Thesis

Publication X articles @Keith G Jeffery

15


CERIF Model

HR System

webpages member

OrgUnit M employee

Person A

<editor> <proof reader> <……>

Part of

OrgUnit O

Person! ID URI Gender First Names Other Names Family Names Name Variants Research Interest Keywords

member Project leader

Project P

Finance

webpages

OrgUnit N

Part of

author owns IPR

Project Publication X Management Bratislava, 2 April 2014

ID Person ID Publication Role Start time End time

Publication! ID URI Title Subtitle Abstract Bibl. Note Publication Date Total Pages Start Page End Page Keywords

ID Person ID Publication Role Start time End time

16

ID Publication ID OrgUnit Role Start time End time

Organisation Unit! ID URI Acronym Name Head Count Currency Code Turnover Research Activity Keywords

repository @Keith G Jeffery

17

5.januar 2012 Anne Asserson

74

18

Funding

Facility

• • • • •

Project

Person Organisation

Publications

Repository Structured systems and Managment information CRIStin Open Access Integration

Event Equipment

CRIS12 Praha Anne Asserson

University Library

19


20

UiB output 1990-2010

Increasingly CRIS are becoming CERIF-compatible (a) to permit interoperation but more importantly (b) because the model reflects accurately the real world of research information.

4000 3500 Journal Article Conference

3000

Book Report/dr.Thesis

2500

Part of Book

Several commercial companies offer CERIF-compatible CRIS and both Thomson-Reuters and Elsevier offer CERIF-compatible products.

2000 Media

1500 1000 Produkt

500


2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000

1999

1998

1997

1996

1995

1994

1993

1992

1990

21

1991

0

CRIStin national CRIS in Norway


22

Researchers profile

Fulltext via DOI


23


75

24

Level 1 (80 % of publication channels) Level 2( 20 % of publication channels) Who are publishing?

Norway populate with ISI Thompson Reuters data No assessing or evaluation related to citations or impact factor

Norges teknisk-naturvitenskapelige universitet 4000 Universitetet i Tromsø

3000

Universitetet for miljø- og biovitenskap

2000 1000 Serie1

0 Universitetet i Stavanger

Serie2 Universitetet i Agder

Universitetet i Oslo

Universitetet i Bergen


25


26

CRIStin – metadata to fulltext

• • • • •

CRIStin holds the contextual metadata to the Institutional Repositories of the research performing institutions

Repository Structured systems and Managment information CRIStin Open Access at UiB Integration


CRIStin

•BORA Bergen Open Research Archive •DUO •MUNIN •Hera •…….

27


28

Dr. Thesis 1990-2010 Dr.thesis 250

200

150 CRIStin BORA 100

50

0 2007


29

2008

2009


76

2010

30

• 2013 The University Board at UIB agreed to establish fund and run a pilot for 3 years to support Open Access Publishing • 1,5 mill NOK ( 200 000 euro)was allocated for publishing Gold Open Access • 2014 the fund has increased to 1,8 millioner NOK • Researchers at UiB can apply to cover expenses for GOLD pubishing


31


• Faculties are allocated a given sum • The publications has to be deposited in the local repository, BORA • Today this has lead to 80 articles, but expect more • OA in Hybrid journals, not necessarily OA • First year is now under evaluation

• • • • •

32

Repositories Structured systems and Managment information CRIStin Open Access at UiB Integration


34


36

CRIStin as metadata to fulltext 2 ways to reach the full text – Copy of fulltext in the Institutional Repository – DOI (Digital Object Identifier) links to the article, but dependent on subscription.

Closed archive Bratislava, 2 April 2014

35

77

Fulltext via repository

• Repositories exist, are maintained and used, and have captured research output in the form of publications. • Similarly CRIS exist and are used, capture all aspects of research information with a formal datamodel (CERIF), and are evolving with changing requirements. • CERIF-CRIS are capable of representing everything that is stored in repositories whereas repositories are not capable of representing everything stored in CRIS.


37


38

The options are: Why have repositories? • Some research institutions have abandoned their repositories and are using a CERIF-CRIS alone for all functions including those previously done by repositories. • Most research institutions are attempting to integrate their repositories and CRIS. • In so doing the major question is ‘what metadata standard is used and where is the metadata stored’.


Input DC to repository and CERIF to CRIS

This is the currently most-practised method, mainly due to organisational rigidity and the ownership of the repository being with the library and the CRIS with the research administration.

39


40

Input CERIF to CRIS and copy/convert to DC for repository

Input DC to repository and copy/convert to CERIF for CRIS;

This is widely used and especially when the organisational problems between the library and the research administration have been resolved.

This impractical since CERIF is a much richer data model than DC and so would be essentially empty with only a few attributes (elements in DC) filled.

CERIF to DC (in various instantiations) convertors exist so that – if required – the DC-compatible metadata elements in CERIF can be provided to the repository for local catalog purposes.

78

We expect over the next years further developments. • In general, repositories will store the scholarly output full text/multimedia and • CERIF-CRIS will store the data/metadata providing the full context of the research. • Interoperation will be via CERIF – even for access to publications in other repositories. • Increasingly the end-user wants not just the research publication but also its context – the project, persons, institutions, funding, facilities/equipment and (very importantly) associated datasets and software.

CERIF-CRIS and the Repository are an essential part of a e-infrastruture End-User

CERIF

CERIF CRIS Research Context [projects, persons, organisational units funding, products, patents, publications facilities, equipment, events]

Various OAI-PMH

protocols OA Repository (hypermedia) Documents


e-Research repository Datasets and Software

44

43

CRIS 2020 Institution A

End-User

Institution B

End-User

End-User

CRIS

CRIS

CRIS

OA repository

e-Research repository

Institution C

OA repository


OA repository

……Then, the CERIF-CRIS can be used to manage the full research lifecycle of all kinds of users from managers to researchers. For theresearch management is evidence-based and justifiable; for the researcher the e-Research environment will have arrived….


‘CRIS in 2020’ Keith Jeffery , Proceedings 11th International Conference on Current Research Information Systems (CRIS2012) 45


University Library

79

46

IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích

Viera Hudečková Úřad vlády České republiky, odbor výzkumu, vývoje a inovací [email protected]

pracuje na Úrade Vlády ČR ako referentka výskumu a má na starosti spracovanie dátového obsahu Informačného systému výskumu, vývoja a inovácii v Českej republike.

Systém veřejné podpory výzkumu, vývoje a inovací v České republice Výzkum, experimentální vývoj a inovace (VaVaI) jsou v České republice podporovány z veřejných prostředků podle zákona č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů (dále jen „zákon“). Tento zákon upravuje: práva a povinnosti právnických a fyzických osob, zabývajících se VaVaI, podmínky veřejné podpory, poskytování informací o VaVaI prostřednictvím informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI), úkoly orgánů VaVaI.

Zdroj dat: www.vyzkum.cz

Rada pro výzkum, vývoj a inovace (Rada) je odborným a poradním orgánem vlády pro oblast VaVaI a zabezpečuje: přípravu Národní politiky VaVaI, zpracování návrhu celkové výše podpory na VaVaI, přípravu Metodiky hodnocení výsledků výzkumných organizací,

80

zpracování pravidelných ročních analýz VaVaI v ČR a jejich srovnání se zahraničím a úlohu správce a provozovatele IS VaVaI. Rada má 17 členů a organizačně je začleněná pod Úřad vlády ČR. Předsedou Rady je místopředseda vlády pro vědu, výzkum a inovace ČR MVDr. Pavel Bělobrádek, Ph.D., MPA,. Členové Rady zastupují oblast průmyslu, vysokých škol a ústavů Akademie věd ČR a na pravidelných jednáních každý měsíc řeší nejdůležitější otázky českého výzkumu. Veřejná podpora VaV – je rozdělená na účelové financování grantových projektů základního výzkumu a aplikovaného výzkumu a institucionální financování na dlouhodobý koncepční rozvoj výzkumných organizací. Reforma výzkumu proběhla v roce 2008 ve znamení hesla „Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze“. Jejím cílem bylo odstranit nízké přínosy výzkumu, vývoje a inovací pro ekonomiku a společnost ČR, zjednodušit podporu VaV, podporovat instituce podle výsledků, výrazně snížit počet 22 rozpočtových kapitol (v současnosti 10 poskytovatelů podpory) a podpořit excelenci ve výzkumu. Mld. Kč v běžných cenách

1,87%

Podíl na HDP

1,89% 1,64%

1,40% 1,29% 1,37% 1,30% 1,35% 1,17% 1,16% 1,15% 1,20% 1,20% 1,22%

0,91% 15,2

14,0

1991

1995

28,3

29,6

32,2

38,1

43,3

26,5

35,1

50,0

2000

2001

2002

2003

2004

2005

2006

2007

49,9

50,9

53,0

2008

2009

2010

62,8

2011

72,4

2012

Zdroj dat: ČSÚ

V roce 2012 dosáhly celkové výdaje za VaVaI provedený na území ČR 2,7 mld. EUR, což odpovídá 1,89 % podílu na HDP. V porovnání s vybranými zeměmi EU a světa ve vztahu GERD na 1 obyvatele Česká republika dosahuje pouze 2/3 hodnoty průměru EU28. US$ v PPP

Eur

1 500 1 250 1 000 750 500 250

81

Švýcarsko US Korea Japonsko Rusko Čína

Finsko Švédsko Dánsko Lucembursko Rakousko Německo Belgie Francie Nizozemsko Irsko Slovinsko UK EU28 Estonsko Španělsko ČR Itálie Portugalsko Maďarsko Řecko Kypr Malta Slovensko Litva Chorvatsko Polsko Lotyšsko Rumunsko Bulharsko

0

Zdroj: OECD MSTI 2013/1, Eurostat září 2013 a vlastní dopočty ČSÚ

Podpora z veřejných zdrojů dosahuje 1 mld. EUR. VaVaI v České republice provádí 2,5 tisíc subjektů, z nich většina je v podnikatelském sektoru. Desetina uvedených subjektů prováděla tuto činnost jako svou převažující. Jedná se zejména o ústavy Akademie věd ČR, vysoké školy a veřejné výzkumné instituce (bývalé rezortní výzkumné ústavy). Jen 5 % těchto pracovišť má výdaje na VaVaI přesahující 3 milióny EUR. Na této činnosti se podílí 30 tisíc výzkumných pracovníků. Poskytovatelem účelové podpory na projekty základního výzkumu je zejména Grantová agentury ČR s rozpočtem 130 mil. EUR, Technologická agentura na projekty aplikovaného výzkumu a vybraná ministerstva (Ministerstvo školství, mládeže a tělovýchovy, Ministerstvo zdravotnictví, Ministerstvo zemědělství, Ministerstvo průmyslu a obchodu, Ministerstvo kultury, Ministerstvo vnitra a Ministerstvo obrany). Institucionální podpora je poskytována na dlouhodobý koncepční rozvoj výzkumných organizací, mezinárodní spolupráci ČR ve VaV, operační programy dle nařízení Evropské komise, která poskytuje 85% prostředků, 15% ČR (OP VaVpI, VpK, PaI), náklady na systém podpory (soutěže, hodnocení, ocenění). Podpora na dlouhodobý koncepční rozvoj je poskytována výzkumným organizacím na základě jimi dosažených výsledků. Hodnotit výsledky výzkumu a vývoje uložilo Radě usnesení vlády č. 644 ze dne 23. června 2004. Cílem hodnocení je posoudit efektivnost institucí ve výzkumu a vývoji a zhodnotit všechny výsledky dané instituce ve vazbě na celkové výdaje ze státního rozpočtu pro danou instituci za sledované období. Hodnocení je pravidelné, kritéria hodnocení jsou předem známá a závazná, měřitelná, zhodnotitelná. V roce 2004 byla zpracována Metodika hodnocení, kterou schválila Rada. Všechny výsledky získaly bodové ohodnocení 1,0 (článek v odborném periodiku, článek ve sborníku, odborné knihy, patenty, technologie, prototyp). Výstupem byla efektivnost subjektů výzkumu = podíl bodového ohodnocení a vynaložených finančních prostředků ze státního rozpočtu. VO byly rozděleny na 4 skupiny – instituce, které svými výsledky vysoce (119-zelené), průměrně (417-šedé), podprůměrně (166-žluté), nebo bez výsledků (150-červené) zhodnotily vynaložené prostředky. Byl předložen návrh na zvýšení, zachování nebo snížení státní podpory. V následujících letech se systém hodnocení vyvíjel.

Zdroj dat: Hodnocení VO

Od roku 2009 Rada předkládá Metodiku ke schválení vládě ČR. Do hodnocení výsledků výzkumných organizací (VO) jsou zařazeny pouze VO, které mohou být příjemci institucionální podpory. Hodnotí se výsledky uplatněné za posledních 5 let, výsledky, které

82

byly již v uplynulých letech hodnoceny, se znovu nehodnotí. Byly stanoveny definice jednotlivých druhů výsledku, kritéria jejich ověřitelnosti a bodová hodnota. Jsou využívané národní a mezinárodní referenční databáze Thomson Reuters, Scopus, ERIH, EPO, OHIM, atd. Byl vytvořen Seznam českých recenzovaných časopisů, ve kterých jsou publikovány články důležité pro národní identitu.

Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI)

Zdroj dat: IS VaVaI

Zdrojem údajů pro Hodnocení je Informační systém výzkumu, experimentálního vývoje a inovací. Obsahuje 5 navzájem silně propojených oblastí: CEA-výzkumné aktivity (poskytovatelé podpory, programy výzkumu, subjekty výzkumu), CEZ-výzkumné záměry, CEP-výzkumné projekty, VES-veřejné soutěže a RIV-výsledky. IS VaVaI obsahuje přes 100 interních a externích číselníků, oproti kterým jsou předávané údaje kontrolovány. Údaje do IS VaVaI jsou předávány prostřednictvím poskytovatele podpory v dávkovém režimu. Součástí dodávky dat je rovněž Průvodka k dodávce dat, která obsahuje základní informace a je podepsaná odpovědným pracovníkem poskytovatele podpory.

83

Zdroj dat: Webová kontrolní služba IS VaVaI

Je prováděna kontrola, zda předaný soubor je shodný s Průvodkou a zda je bez chyb datového obsahu, schématu XML, povolených znaků a jsou shodné kryptografické kontrolní součty. V případě nalezení nesrovnalosti je předkladatel požádán o nápravu a dodávka dat není zařazena do IS VaVaI. V této fázi zpracování údajů je nejčastějším pochybením použití znaků, které nejsou v české abecedě. Znaky jsou deformovány, nahrazeny otazníky nebo černými tečkami a snižuje se informační hodnota předaných údajů.

84

Zdroj Dat: IS VaVaI

Výše uvedený článek ve sborníku byl předán v původním jazyku-ukrajinštině. Vypovídací hodnota o výsledku je omezená, není znám název výsledku ani jeho popis. Některé výsledky „proniknou“ do zpracování, ale většinou jsou poskytovatelé požádání o opravu.

85

Zdroj dat: IS VaVaI-RIV

Ročně je do IS VaVaI předáváno asi 60 000 výsledků. IS VaVaI k 1. 1. 2014 obsahoval 1 053 400 záznamů výsledků a je jednou z největších národních databází v Evropě.

Zdroj dat: InCites, Thomson Reuters 2013

Zvyšování publikačních aktivit českých vědců se projevuje i ve světových databázích. Počet kvalitních článku v impaktovaných časopisech evidovaných společnosti Thomson Reuters každoročně stoupá. Zejména po roce 2004, kdy bylo zavedeno hodnocení VO, je jejich nárůst strmější. Relativní citační index překročil v roce 2012 o 7 % světový průměr.

Hodnocení výsledků výzkumných organizací V roce 2009 byly stanoveny základní definice jednotlivých druhů výsledků, jejich ověřitelnost a vymezení, co není daným druhem výsledku. Nejčastěji předávaným výsledkem je článek v odborném periodiku: J – recenzovaný odborný článek Definice - „Recenzovaným odborným článkem“ je původní, případně přehledový článek zveřejněný v odborném periodiku (časopise) bez ohledu na stát vydavatele, který prezentuje původní výsledky výzkumu a který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Jedná se o ucelené texty prací s členěním podle požadavků vydavatelů periodika na strukturu vědecké práce (nejčastěji souhrn, úvod, literární přehled, materiál a metody, výsledky, diskuse, závěr) s obvyklým způsobem citování zdrojů, eventuálně s poznámkovým 86

aparátem. V odborném periodiku bývají tyto typy článků zařazeny v obsahu do skupiny původních, případně přehledových sdělení. Odborným periodikem se rozumí vědecký recenzovaný časopis, s vědeckou redakcí, který vychází, případně vycházel periodicky, má přidělen pouze kód ISSN, případně e-ISSN a je vydáván v tištěné, v tištěné i elektronické nebo jen v elektronické podobě. Recenzované odborné články v odborném periodiku (časopise) se člení na: Jimp – původní / přehledový článek v odborném periodiku, který je obsažen v databázi Web of Science společností Thomson Reuters s příznakem „Article“, „Review“, nebo „Letter“; Jsc – původní/přehledový článek v odborném periodiku, který je obsažen v databázi SCOPUS společnosti Elsevier s příznakem „Article“, „Review“, nebo „Letter“; Jneimp – původní / přehledový článek v odborném periodiku, který je obsažen v databázi ERIH; Jrec – původní / přehledový článek v odborném periodiku, které je zařazeno v aktuálním Seznamu neimpaktovaných recenzovaných periodik vydávaných v České republice (zveřejněno na www.vyzkum.cz). Odborným periodikem (časopisem) nejsou: - periodika, která nemají ISSN, případně ani e-ISSN; - periodika, nebo mimořádná periodika vydávaná s ISSN a též souběžně i s ISBN v knižní podobě, (tyto případy se často vyskytují u konferenčních příspěvků, které jsou evidovány v databázích WoS a SCOPUS. Výsledky publikované v tomto typu zdroje patří do výsledků druhu D); - periodika, u kterých neprobíhá nebo není zveřejněn způsob recenzentního řízení příspěvků (např. některá periodika vydávaná formou Open Access); - periodika charakteru denního nebo novinového tisku, tj. běžný denní tisk, tematické „populárně - odborné“ přílohy k dennímu tisku, týdeníky, odborně zaměřené noviny (např. Zdravotnické noviny, Hospodářské noviny, Učitelské noviny apod.); - populárně naučná periodika určená pro laickou veřejnost, vydávané komerčními nakladateli, veřejnými a jinými institucemi; - popularizující odborná periodika, určené pro širší odbornou veřejnost, např. vydávané odbornými společnostmi, vědeckými institucemi apod. za účelem propagace a popularizace vědy; - periodika odborů, politických stran, spolků apod.; - filmové a rozhlasová periodika; 87

- podniková a pojišťovací periodika; - tiskopisy a zpravodaje; - za periodika nejsou považována zvláštní čísla časopisů, ve kterých jsou uveřejněny texty konferenčních příspěvků. Recenzovaným odborným článkem nejsou: - reprinty, abstrakta, rozšířená abstrakta (např. na konferenci) apod., byť publikovaná v odborném periodiku, články informativního nebo popularizačního charakteru o výsledcích výzkumu; - ediční materiály, opravy, recenze, rešerše nebo souhrny; - článek typu „preprint“, tj. verze článku uveřejněná před recenzním řízením; - pro Jrec články s nižším rozsahem než jsou 2 strany textu, přičemž platí, že do rozsahu stran se nezapočítávají fotografie, grafy, mapové přílohy, obrázky, tabulky a reklamy V rámci Hodnocení VO jsou všechny vstupující výsledky podrobeny softwarové nebo peer-review kontrole. Nejčastější chybou nalezenou u softwarových kontrol je nesoulad předaných údajů s údaji evidovanými v kontrolních databázích. Jedná se nejčastěji o typ článku (za článek je vydáván abstrakt nebo recenze), nesoulad roku uplatnění, neúplný počet autorů a další.

88

Zdroj dat: Web of Science, Thomson Reuters 2013

U peer-review kontroly je posuzováno, zda se jedná o původní výsledek výzkumu, zda struktura článku odpovídá struktuře vědecké práce a další atributy. Často jsou popularizační nebo přehledové články prezentovány autory jako původní práce. Tyto výsledky jsou z hodnocení vyřazeny. Všechny tyto údaje mají vliv na bodovou hodnotu výsledku a tím i na výši institucionální podpory. Tyto výsledky jsou z IS VaVaI i z hodnocení vyřazeny z důvodu „nesouladu datových prvků“ a v některých případech je uplatněn § 14 odst. 5 zákona, který opravňuje Radu snížit výši institucionální podpory až do výše 100 % podpory na 5 let. V roce 2011 byla takto uplatněna sankce na 1 067 výsledků ve výši 6,6 mil. EUR. Článek ve sborníku je druhým nejčastěji předávaným výsledkem. Kontrola probíhá oproti databázím Scopus a Conference Proceedings Citation Index. Jen články zveřejněné v těchto databázích získávají bodové ohodnocení. Pokud je článek zveřejněn ve sborníku, který je evidován v příslušné databází, získává bodové ohodnocení. Až 80 % článku ve sborníku zůstává s nulovou bodovou hodnotou. Důvodem pro vyřazení z Hodnocení je malý rozsah článku (do 2 stran). Odborná úroveň není posuzována. Odborné knihy a kapitoly v knihách jsou podrobeny peer-review kontrole. V některých vědních oborech nevyhovuje definici druhu výsledku 20 – 40 % kontrolovaných publikací. Za knihy jsou vydávány sborníky z konferencí, učební texty, překlady, ročenky, výroční zprávy, diplomové práce, habilitační práce, slovníky, rešerše, souhrny abstraktů, metodické příručky, katalogy, normy, cestopisy, beletrie, texty divadelních her, výběrové bibliografie, výroční zprávy, proslovy, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků nebo memoáry, informační materiály, popularizující monografie, biografie, autobiografie, účelově monograficky vydané závěrečné zprávy z grantů. Všechny odborné knihy vydané v České republice musí být rovněž předány do Národní knihovny (NK). První část kontroly zjišťuje, zda je publikace evidována v katalogu NK. Členové odborných a poradních orgánů Rady následně posuzuji, zda kniha splňuje definici druhu výsledku a zda za knihu není vydáván jiný druh výsledku.

89

Zdroj dat: Katalog Národní knihovny ČR

U výsledků aplikovaného výzkumu jsou podrobně kontrolovány zejména patenty a užitné vzory. V roce 2010 byla provedena kontrola patentů uplatněných za posledních 5 let. Výsledkem bylo odstranění 70 % patentů z důvodu předání nepravdivých údajů. Za patenty byly prohlašovány přihlášky vynálezu, byl nesoulad roku uplatnění, nebyli uvedeni všichni tvůrci a majitelé patentu. Za takto nepravdivě předané údaje byla předkladatelům udělena sankce. V současnosti předkladatelé věnují tomuto druhu výsledku mimořádnou pozornost. V roce 2013 kontrolované patenty vykázaly pochybení jen v 2 % případů.

Zdroj dat: databáze Úřadu průmyslového vlastnictví ČR

Výše uvedený příklad předání výsledku „užitný vzor“ ukazuje nesoulad datových prvků – chybné číslo dokumentu, chybný název neúplný seznam vlastníků (majitelů) oproti záznamům Úřadu průmyslového vlastnictví. Dle § 31 odst. 10 zákona č.130/2002 Sb., o podpoře výzkumu a vývoje, se provádí pravidelná meziroční kontrola dat předaných do informačního systému výzkumu a vývoje v předchozím roce. Cílem kontroly je upozornit na nesrovnalosti - zda u výzkumných 90

projektů byly předány údaje o jejich ukončení nebo pokračování, zda byly vyhodnoceny všechny vyhlášené veřejné soutěže a zda všechny ukončené projekty mají nějaký výsledek v IS VaVaI. V případech, kdy tomu tak není (asi 3,4 % ukončených projektů), rozhodla Rada o uplatnění sankci pro tyto poskytovatelé ve výši 22 mil. EUR.

Zdroje: 1. Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů 2. Analýza stavu výzkumu, vývoje a inovací v ČR a jejich srovnání se zahraničím v roce 2013 3. Předávání údajů do Informačního systému výzkumu, experimentálního vývoje a inovací RIV – Rejstřík informací o výsledcích2014 4. www.vyzkum.cz 5. www.isvav.cz 6. Web of Science 7. Katalog Národní knihovny ČR 8. Databáze Úřadu průmyslového vlastnictví ČR

91

IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích – prezentácia z konferencie

Obsah 1. Systém veřejné podpory výzkumu, vývoje a inovací v České republice

IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích

2. Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) 3. Hodnocení výsledků výzkumných organizací

Ing. Viera Hudečková, Úřad vlády ČR, Odbor Rady pro výzkum, vývoj a inovace

CVTI SR Bratislava, 2. 4. 2014

1


Systém veřejné podpory výzkumu, vývoje a inovací v České republice •

Systém veřejné podpory výzkumu, vývoje a inovací v České republice •

Výzkum, experimentální vývoj a inovace (VaVaI) jsou v České republice podporovány z veřejných prostředků podle zákona č.130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů (dále jen „zákon“).

• • • •

Tento zákon upravuje: • práva a povinnosti právnických a fyzických osob, zabývajících se VaVaI; • podmínky veřejné podpory; • poskytování informací o VaVaI prostřednictvím informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI); • úkoly orgánů VaVaI.


• • •

3

•

Reforma výzkumu proběhla v roce 2008 ve znamení hesla „Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze“. Jejím cílem bylo odstranit nízké přínosy výzkumu, vývoje a inovací pro ekonomiku a společnost ČR, zjednodušit podporu VaV, podporovat instituce podle výsledků, výrazně snížit počet 22 rozpočtových kapitol (v současnosti 10 poskytovatelů podpory) a podpořit excelenci ve výzkumu. 4

Systém veřejné podpory výzkumu, vývoje a inovací v České republice

V roce 2012 dosáhly celkové výdaje za VaVaI provedený na území ČR 2,7 mld. EUR, což odpovídá 1,89 % podílu na HDP. V porovnání s vybranými zeměmi EU a světa ve vztahu GERD na 1 obyvatele Česká republika dosahuje pouze 2/3 hodnoty průměru EU28.

Rada má 17 členů a organizačně je začleněná pod Úřad vlády ČR. Předsedou Rady je místopředseda vlády pro vědu, výzkum a inovace ČR MVDr. Pavel Bělobrádek, Ph.D., MPA,. Členové Rady zastupují oblast průmyslu, vysokých škol a ústavů Akademie věd ČR a na pravidelných jednáních každý měsíc řeší nejdůležitější otázky českého výzkumu. CVTI SR Bratislava, 2. 4. 2014

Rada pro výzkum, vývoj a inovace (Rada) je odborným a poradním orgánem vlády pro oblast VaVaI a zabezpečuje: přípravu Národní politiky VaVaI; zpracování návrhu celkové výše podpory na VaVaI; přípravu Metodiky hodnocení výsledků výzkumných organizací; zpracování pravidelných ročních analýz VaVaI v ČR a jejich srovnání se zahraničím; úlohu správce a provozovatele IS VaVaI.



• •

2

5


92

6



 Podpora z veřejných zdrojů dosahuje 1 mld. EUR.

Institucionální podpora je poskytována na: • dlouhodobý koncepční rozvoj výzkumných organizací; • mezinárodní spolupráci ČR ve VaV; • operační programy dle nařízení Evropské komise, která poskytuje 85% prostředků, 15% ČR (OP VaVpI, VpK, PaI); • náklady na systém podpory (soutěže, hodnocení, ocenění-Česká hlava);

 VaVaI v České republice provádí 2,5 tisíc subjektů, z nich většina je v podnikatelském sektoru.  Desetina uvedených subjektů prováděla tuto činnost jako svou převažující ústavy Akademie věd ČR, vysoké školy a veřejné výzkumné instituce (bývalé rezortní výzkumné ústavy).  Jen 5 % těchto pracovišť má výdaje na VaVaI přesahující 3 milióny EUR.  Na výzkumné činnosti se podílí 48 tisíc výzkumných pracovníků.

• •

 Poskytovatelem účelové podpory na projekty základního výzkumu je zejména Grantová agentury ČR s rozpočtem 130 mil. EUR.  Technologická agentura a vybraná ministerstva (Ministerstvo školství, mládeže a tělovýchovy, Ministerstvo zdravotnictví, Ministerstvo zemědělství, Ministerstvo průmyslu a obchodu, Ministerstvo kultury, Ministerstvo vnitra a Ministerstvo obrany) podporují projekty aplikovaného výzkumu. CVTI SR Bratislava, 2. 4. 2014

•

•

7



• • • •

 Výstupem byla efektivnost všech subjektů výzkumu = podíl bodového ohodnocení a vynaložených finančních prostředků ze státního rozpočtu.  VO byly rozděleny na 4 skupiny – instituce, které svými výsledky vysoce (119zelené), průměrně (417-šedé), podprůměrně (166-žluté), nebo bez výsledků (150-červené) zhodnotily vynaložené prostředky. Byl předložen návrh na zvýšení, zachování nebo snížení státní podpory.  V následujících letech se systém hodnocení vyvíjel.

• •

9

•

•

10

Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) •

Zdrojem údajů pro Hodnocení je Informační systém výzkumu, experimentálního vývoje a inovací. Obsahuje 5 navzájem silně propojených oblastí: CEA-výzkumné aktivity (poskytovatelé podpory, programy výzkumu, subjekty výzkumu), CEZvýzkumné záměry, CEP-výzkumné projekty, VES-veřejné soutěže a RIVvýsledky. IS VaVaI obsahuje přes 100 interních a externích číselníků, oproti kterým jsou předávané údaje kontrolovány.


Od roku 2009 Rada předkládá Metodiku ke schválení vládě ČR. Do hodnocení výsledků výzkumných organizací (VO) jsou zařazeny pouze VO, které mohou být příjemci institucionální podpory. Hodnotí se výsledky uplatněné za posledních 5 let, výsledky, které byly již v uplynulých letech hodnoceny, se znovu nehodnotí. Byly stanoveny definice jednotlivých druhů výsledku, kritéria jejich ověřitelnosti a bodová hodnota. Jsou využívané národní a mezinárodní referenční databáze Thomson Reuters, Scopus, ERIH, EPO, OHIM, atd. Byl vytvořen Seznam českých recenzovaných časopisů, ve kterých jsou publikovány články důležité pro národní identitu. CVTI SR Bratislava, 2. 4. 2014


8


 V roce 2004 byla zpracována první Metodika hodnocení, kterou schválila Rada. Všechny výsledky získaly bodové ohodnocení 1,0 (článek v odborném periodiku, článek ve sborníku, odborné knihy, patenty, technologie, prototyp).


Podpora na dlouhodobý koncepční rozvoj je poskytována výzkumným organizacím na základě jimi dosažených výsledků. Hodnotit výsledky výzkumu a vývoje uložilo Radě usnesení vlády č. 644 ze dne 23. června 2004. Cílem hodnocení je posoudit efektivnost institucí ve výzkumu a vývoji a zhodnotit všechny výsledky dané instituce ve vazbě na celkové výdaje ze státního rozpočtu pro danou instituci za sledované období. Hodnocení je pravidelné, kritéria hodnocení jsou předem známá a závazná, měřitelná, zhodnotitelná.

•

11

Údaje do IS VaVaI jsou předávány prostřednictvím poskytovatele podpory v dávkovém režimu. Součástí dodávky dat je rovněž Průvodka k dodávce dat, která obsahuje základní informace a je podepsaná odpovědným pracovníkem poskytovatele podpory.


93

12


• •


Je prováděna kontrola, zda předaný soubor je shodný s Průvodkou a zda je bez chyb datového obsahu, schématu XML, povolených znaků a jsou shodné kryptografické kontrolní součty. V případě nalezení nesrovnalosti je předkladatel požádán o nápravu a dodávka dat není zařazena do IS VaVaI. V této fázi zpracování údajů je nejčastějším pochybením použití znaků, které nejsou v české abecedě. Znaky jsou nahrazeny otazníky.


13



•

•

•

15

•

• •

16

Hodnocení výsledků výzkumných organizací Odborným periodikem (časopisem) nejsou: • periodika, která nemají ISSN, případně ani e-ISSN; • periodika, u kterých neprobíhá nebo není zveřejněn způsob recenzentního řízení příspěvků (např. některá periodika vydávaná formou Open Access); • periodika charakteru denního nebo novinového tisku …. Recenzovaným odborným článkem nejsou: • reprinty, abstrakta, rozšířená abstrakta (např. na konferenci) apod., byť publikovaná v odborném periodiku, články informativního nebo popularizačního charakteru o výsledcích výzkumu; • ediční materiály, opravy, recenze, rešerše nebo souhrny; • článek typu „preprint“, tj. verze článku uveřejněná před recenzním řízením; • pro Jrec články s nižším rozsahem než jsou 2 strany textu, přičemž platí, že do rozsahu stran se nezapočítávají fotografie, grafy, mapové přílohy, obrázky, tabulky a reklamy

Recenzované odborné články v odborném periodiku (časopise) se člení na: Jimp – původní/přehledový článek v odborném periodiku, který je obsažen v databázi Web of Science společností Thomson Reuters s příznakem „Article“, „Review“, nebo „Letter“; Jsc – původní/přehledový článek v odborném periodiku, který je obsažen v databázi SCOPUS společnosti Elsevier s příznakem „Article“, „Review“, nebo „Letter“; Jneimp – původní/přehledový článek v odborném periodiku, který je obsažen v databázi ERIH; Jrec – původní/přehledový článek v odborném periodiku, které je zařazeno v aktuálním Seznamu neimpaktovaných recenzovaných periodik vydávaných v České republice (zveřejněno na www.vyzkum.cz). CVTI SR Bratislava, 2. 4. 2014

V roce 2009 byly stanoveny základní definice jednotlivých druhů výsledků, jejich ověřitelnost a vymezení, co není daným druhem výsledku. Nejčastěji předávaným výsledkem je recenzovaný článek v odborném periodiku: Definice - „Recenzovaným odborným článkem“ je původní, případně přehledový článek zveřejněný v odborném periodiku (časopise) bez ohledu na stát vydavatele, který prezentuje původní výsledky výzkumu a který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Jedná se o ucelené texty prací s členěním podle požadavků vydavatelů periodika na strukturu vědecké práce (nejčastěji souhrn, úvod, literární přehled, materiál a metody, výsledky, diskuse, závěr) s obvyklým způsobem citování zdrojů, eventuálně s poznámkovým aparátem. V odborném periodiku bývají tyto typy článků zařazeny v obsahu do skupiny původních, případně přehledových sdělení… CVTI SR Bratislava, 2. 4. 2014

Hodnocení výsledků výzkumných organizací

• •

14


Zvyšování publikačních aktivit českých vědců v souvislosti s hodnocením se projevuje i ve světových databázích. Počet kvalitních článku v impaktovaných časopisech evidovaných společnosti Thomson Reuters každoročně stoupá. Zejména po roce 2004, kdy bylo zavedeno hodnocení VO, je jejich nárůst strmější. Relativní citační index překročil v roce 2012 světový průměr o 7 %.


Ročně je do IS VaVaI předáváno asi 60 000 výsledků. IS VaVaI k 1. 1. 2014 obsahoval 1 053 400 záznamů výsledků a je jednou z největších národních databází o výsledcích v Evropě.

17


94

18


Hodnocení výsledků výzkumných organizací •

Kontroly - Publikační výsledky Web of Science • Journal Citation Report – Impact Factor časopisů • Web Services – přímý přístup k záznamům, kontrola-typ dokumentu (Letter, Article, Review, Proceedings Paper), rok publikování, název časopisu, název článku, jazyk publikování, počet autorů, atd. Scopus • Odborné periodika uvedené v seznamu title_list.xls (21 754), včetně indexu SJR, který je poprvé využit pro bodové ohodnocení. • Dataset výsledků zveřejněných v databázi SCOPUS v letech 2008 až 2012. ERIH – časopisy společenských a humanitních věd.

•

Nejčastější chybou nalezenou u softwarových kontrol je nesoulad předaných údajů s údaji evidovanými v kontrolních databázích. Jedná se nejčastěji o typ článku (za článek je vydáván abstrakt nebo recenze), nesoulad roku uplatnění, neúplný počet autorů a další.

Seznam recenzovaných neimpaktovaných periodik vydávaných v České republice (po aktualizaci roku 2010). CVTI SR Bratislava, 2. 4. 2014

19



Hodnocení výsledků výzkumných organizací • •

•

• • • • •

•

U peer-review kontroly je posuzováno, zda se jedná o původní výsledek výzkumu, zda struktura článku odpovídá struktuře vědecké práce a další atributy. Posuzovány jen české články. Často jsou popularizační nebo přehledové články prezentovány autory jako původní práce. Tyto výsledky jsou z hodnocení vyřazeny. Všechny tyto údaje mají vliv na bodovou hodnotu výsledku a tím i na výši institucionální podpory. Tyto výsledky jsou z IS VaVaI i z hodnocení vyřazeny z důvodu „nesouladu datových prvků“ a v některých případech je uplatněn § 14 odst. 5 zákona Rada může snížit výši institucionální podpory až do výše 100 % podpory na 5 let. V roce 2011 byla takto uplatněna sankce na 1 067 výsledků ve výši 6,6 mil. EUR. CVTI SR Bratislava, 2. 4. 2014

• •

21

22


• •

U sborníků je prováděna kontrola, zda „Typ dokumentu“ a „Typ zdroje“ patří do skupiny hodnocených článků.

•

Web of Science • SCOPUS

• CVTI SR Bratislava, 2. 4. 2014

Článek ve sborníku je druhým nejčastěji předávaným výsledkem. Kontrola probíhá oproti databázím Scopus a Conference Proceedings Citation Index společnosti Thomson Reuters. Jen články zveřejněné v časopisech evidovaných v těchto databázích získávají bodové ohodnocení. Až 80 % článku ve sborníku zůstává s nulovou bodovou hodnotou. Odborná úroveň není posuzována. title_list.txt



•

20

23

Odborné knihy a kapitoly v knihách jsou podrobeny peer-review kontrole. V některých vědních oborech (SHV) nevyhovuje definici druhu výsledku 20 – 40 % kontrolovaných publikací. Za knihy jsou vydávány sborníky z konferencí, učební texty, překlady, ročenky, výroční zprávy, diplomové práce, habilitační práce, slovníky, rešerše, souhrny abstraktů, metodické příručky, katalogy, normy, cestopisy, beletrie, texty divadelních her, výběrové bibliografie, výroční zprávy, proslovy, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků nebo memoáry, informační materiály, popularizující monografie, biografie, autobiografie, účelově monograficky vydané závěrečné zprávy z grantů. Členové odborných a poradních orgánů Rady posuzuji, zda kniha splňuje definici druhu výsledku a zda za knihu není vydáván jiný druh výsledku. CVTI SR Bratislava, 2. 4. 2014

95

24



Příklady posouzení výsledku

•

Všechny odborné knihy vydané v České republice musí být rovněž předány do Národní knihovny.

Vědní obor.

Fyzické ověření výsledku. Nesprávně zařazeno, tématem je literární věda a kulturní věda. (AC, AI)


25




• • • • • • Výsledek neprezentuje/nerealizuje/nechrání původní výsledky - vydání Patočkových přednášek. CVTI SR Bratislava, 2. 4. 2014

26

U výsledků aplikovaného výzkumu jsou podrobně kontrolovány zejména patenty a odrůdy. V roce 2010 byla provedena kontrola patentů uplatněných za posledních 5 let. Výsledkem bylo odstranění 70 % patentů z důvodu předání nepravdivých údajů. Za patenty byly prohlašovány přihlášky vynálezu, byl nesoulad roku uplatnění, nebyli uvedeni všichni tvůrci a majitelé patentu. Za takto nepravdivě předané údaje byla předkladatelům udělena sankce. V současnosti předkladatelé věnují tomuto druhu výsledku mimořádnou pozornost. V roce 2013 kontrolované patenty vykázaly pochybení jen v 2 % případů.

27



28

Hodnocení výsledků výzkumných organizací Odrůdy – právně chráněné výsledky  Výsledek je právně chráněn

Kontroly - Výsledky aplikovaného výzkumu •

Databáze ÚPV, ESPCENET a národní patentové úřady-patenty.

•

ÚSTŘEDNÍ KONTROLNÍ A ZKUŠEBNÍ ÚSTAV ZEMĚDĚLSKÝ – odrůdy

•

Sběr údajů o investičních prostředcích v projektech aplikovaného výzkumu řešených v roce 2012

•

Sběr údajů o Smluvním výzkumu CVTI SR Bratislava, 2. 4. 2014

 Výsledek není právně chráněn, registrovaná odrůda je zapsaná do Státní odrůdové knihy a je uváděna do oběhu.

29


96

30


Hodnocení výsledků výzkumných organizací 2013

Snížení chybovosti údajů o patentech

Rekapitulace Hodnocení 2010 – 2013

 V roce 2013 se snížila chybovost údajů o patentech na 2,4 %  Z 333 patentů byly  4 přihlášky vynálezů (zahraniční)  2 patenty předaly předkladatelé bez vlastnického práva  2 patenty předány pod jiným názvem (evropský patent předán v češtině, dokument o ochraně vydán v angličtině, němčině a francouzštině)


31

2010

2011

2012

2013

Počet záznamů výsledků

280 780

291 672

382 190

329 115

Počet záznamů vyřazených

5 535

7 565

1 982

2 888

Počet vyjádření poskytovatelů

2 800 978 neakceptováno)

2 088 672 neakceptováno)

672 366 neakceptováno

?

Počet záznamů hodnocených

134 440

156 463

380 208

?

Patenty (chybovost v %)

69

16

5

2

Sankce mil. Kč

180

0

0

?


32


Děkuji za pozornost

• Dle § 31 odst. 10 zákona č.130/2002 Sb., o podpoře výzkumu a vývoje, se provádí pravidelná meziroční kontrola dat předaných do informačního systému výzkumu a vývoje v předchozím roce. •

•

www.vyzkum.cz, www.isvav.cz

Cílem kontroly je upozornit na nesrovnalosti - zda u výzkumných projektů byly předány údaje o jejich ukončení nebo pokračování, zda byly vyhodnoceny všechny vyhlášené veřejné soutěže a zda všechny ukončené projekty mají nějaký výsledek v IS

[email protected]

V případech, kdy tomu tak není (asi 3,4 % ukončených projektů), rozhodla Rada o uplatnění sankcí pro tyto poskytovatelé ve výši 22 mil. EUR. CVTI SR Bratislava, 2. 4. 2014

33


97

34

IPn Metodika - efektivní systém hodnocení a financování výzkumu, vývoje a inovací

Viera Hudečková Úřad vlády České republiky, odbor výzkumu, vývoje a inovací [email protected]

pracuje na Úrade Vlády ČR ako referentka výskumu a má na starosti spracovanie dátového obsahu Informačného systému výskumu, vývoja a inovácii v Českej republike.

Úvod Cílem projektu „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ je zatraktivnit prostředí výzkumu, vývoje a inovací (VaVaI) pro vědecké pracovníky, podpořit excelenci ve VaVaI, motivovat mladé lidi pro práci ve VaVaI, zvýšit prestiž vědecké práce a nalézt mechanismy na finanční ohodnocení podle kvality odvedené práce. Prostředkem k dosažení cíle je nová metodika hodnocení výsledků a institucí a nová metodika rozdělování veřejné podpory (dále jen „IPn Metodika“). Návrh nového systému hodnocení bude vycházet z doporučení Mezinárodního auditu výzkumu, vývoje a inovací v ČR, který důrazně varoval před mechanistickým pojetím současné Metodiky. Výsledky jeho řešení budou využívány orgány státní správy, poskytovateli podpory a dotknou se všech výzkumných organizací a jejich pracovníků. Řešení IPn Metodika bylo zahájeno 1. 2. 2012. Předcházela mu široká diskuse o obsahu jak v realizačním týmu, tak na Radě pro výzkum, vývoj a inovace (dále jen „Rada“), kde byla dojednána koordinace řešení IPn „Metodika“ a „Metodika hodnocení výsledků VO a výsledků ukončených programů 2013“, které představuje základní platformu pro přípravu návrhu a ověření nového systému hodnocení jako klíčového podkladu pro následné doporučení Rady vládě. Hlavní odbornou garantkou projektu je prof. Ing. Jitka Moravcová, CSc. (VŠCHT Praha). Celkový rozpočet projektu je 4,1 mil. EUR a je financován z OP Vzdělávání pro konkurenceschopnost.

98

Cíle projektu Projekt vychází z cílů a opatření strategických dokumentů vlády ČR „Reforma systému VaVaI“, „Národní politika VaVaI na léta 2009 – 2015“, „Strategie mezinárodní konkurenceschopnosti na období 2012-2020“, „Národní inovační strategie“, doporučení IPn "Mezinárodní audit", z Dlouhodobých principů hodnocení a financování schválených Radou a z dobrých zahraničních praxí. Hlavním cílem projektu je vytvořit návrh nového systému hodnocení a financování VaVaI z veřejných prostředků tak, aby se stal zdrojem informací pro strategické řízení systému VaVaI na úrovni státní správy, poskytovatelů, programů a VO a kladl důraz na excelenci a střednědobé plánování. Tyto cíle budou naplněny prostřednictvím následujících výstupů: 

Návrh oborové metodiky hodnocení (OMH), který projde veřejnou oponenturou, malým a velkým pilotním otestováním.



Návrh hodnocení VO, které bude zohledňovat ukazatele kvantitativní i kvalitativní a bude reflektovat i do budoucnosti orientované ukazatele. Do hodnocení vysokých škol budou zahrnuty i umělecké a tvůrčí výsledky.



Odborná příprava lidských zdrojů, specialistů v oblasti bibliometrie a hodnocení institucí VaVaI.



Studie proveditelnosti vzniku nezávislé hodnotící instituce.



Model nového systému financování systému VaVaI jako celku i institucionálního financování VO a otestování jeho stability.



Návrh souboru transformačních kroků a harmonogramu postupných změn tak, aby byla zajištěna stabilita celého systému VaVaI v přechodném období.



Návrh souboru legislativních změn, nutných pro implementaci nových systémů.



Vytvoření podmínek pro přijetí nových systémů prostřednictvím těsné spolupráce s dotčenými orgány a cílovými skupinami.

Tyto cíle jsou sdruženy do logických celků a dále rozpracovány v rámci jednotlivých klíčových aktivit projektu.

99

Klíčové aktivity 01 „Informační podpora“ V této klíčové aktivitě bude realizována analýza zavedené struktury IS VaVaI v ČR (Rejstřík informací o výsledcích - RIV) především z hlediska úplnosti, spolehlivosti, uživatelské přívětivosti a možnostem realizace nadstavbového softwaru ke zpracování informací nutných pro navrhované hodnocení. Hodnocení však nelze realizovat bez detailní bibliometrické analýzy, jak ji umožňují světové databáze vědeckých informací Web of Science společnosti Thomson Reuters nebo Scopus společnosti Elsevier, a zajištění dalších informačních služeb identifikovaných v průběhu návrhu OMH. 02 „Systém hodnocení“ Vytvoří oborové metodiky hodnocení (OMH), které budou podrobně popisovat hodnotící kritéria pro hodnocení hodnocených jednotek VO v jednotlivých oborech podle světových oborových standardů a navrhne další vhodné indikátory specifické podle typu VO. Ověří navržené hodnocení na vybraném vzorku všech typů VO, a to včetně informovaného peer-review zahraničními odborníky, jehož výsledky budou mít hodnocené VO k dispozici. Poskytne podklady pro informovaná politická rozhodnutí o rozdělení prostředků mezi obory a iniciaci mezioborových projektů. Předpokládané řešení se bude opírat o ověřené zahraniční praxe a zkušeností. Předmětem hodnocení bude hodnocená jednotka (HJ), která se do hodnocení v příslušném oboru přihlásí. Bude se hodnotit kvalita výsledků dosažených HJ za období posledních cca 5 let, dopad výzkumu HJ a institucionální předpoklad rozvoje HJ (jako např. zhodnocení způsobu řízení HJ včetně řízení lidských zdrojů a materiálního zázemí. Výsledkem zhodnocení každé HJ budou hodnotící zpráva HJ a VO a výkonnostní profil VO s písemným odůvodněním výsledků zhodnocení a doporučení. Hodnocení VO bude realizováno jednou za cca 5 let a bude probíhat v angličtině. 03 „Systém financování“ Návrh modelů institucionálního financování pro jednotlivé poskytovatele transparentním způsobem promítne výkonnostní principy hodnocení do systému financování, které bude výrazně motivační, s důrazem na kvalitu a excelenci. Současně zajistí stabilitu VO potřebnou pro jejich koncepční rozvoj, a tím i stabilitu a efektivnost vkladů do personálních a materiálních kapacit. V souladu se strategickými dokumenty by měl mít nový způsob rozdělování institucionální podpory přímý vztah k výsledkům hodnocení; ovšem v jaké míře, to musí být předmětem definování nových principů a dále podle výsledku modelových a testovacích studií, které budou hodnotit stabilitu a robustnost nového systému. V tomto smyslu má mít institucionální financování VO, na rozdíl od čistě retrospektivní současné Metodiky, také složku prospektivní a obě složky se mají navzájem účelně doplňovat. Těmi složkami jsou rozpočet podle předpisu (formula funding, FF) a výkonnostní kontrakty (performance-based contract, PBC). Tímto způsobem se odstraní kritizované mechanické přepočítávání bodů na financování VO a potlačí se jejich účelové chování. Smlouvy mezi VO a poskytovatelem podpory by mohly být uzavírány na dobu optimálně 5 let a jejich plnění 100

bude průběžně kontrolováno. Součástí smlouvy budou i návrhy represivních prvků, pokud jednotliví aktéři nebudou svoje závazky plnit. Předpokládáme, že nový systému financování VO umožní jejich rozvoj a že bude také kultivovat české vědecké prostředí a zvýší evaluační kulturu. 04 „Velké pilotní ověření“ Cílem je realizace velkého pilotního ověření (VPO) způsobu hodnocení navrženého v klíčové aktivitě 02 na všech typech VO, v oborech, kam se přihlásí jejich HJ. Do ověření nového způsobu hodnocení budou mít možnost podat přihlášku VO z řad VVŠ, ústavů AV ČR a všech dalších typů VO. V rámci VPO bude mimo jiné vyhodnocena finanční a časová náročnost celého procesu a budou identifikovány nezamýšlené efekty hodnocení. 05 „Harmonogram pro přechodné období a podklady pro legislativní změny“ V této klíčové aktivitě bude řešena otázka, jak postupovat v přechodném období 2015 – 2017 tak, aby uvedení nových systémů vypracovaných v rámci projektu bylo plynulé a bez diskontinuit či velkých skoků, které by způsobily nestabilitu systému. Podle výsledků předchozích klíčových aktivit bude navržen harmonogram jednotlivých kroků a legislativních změn tak, aby návrh nového systému mohl platit v optimální variantě od roku 2018. Součástí budou veřejné konzultace s aktéry k navrhovaným změnám, připomínkové řízení a vypořádání připomínek. 06 „Institucionální zajištění hodnocení“ Bude zpracována studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení. Nové institucionální zajištění by mělo garantovat realizaci pravidelných hodnocení VO a dodávat kvalifikované informace pro politická rozhodnutí, a to na úrovni srovnatelné s mezinárodními standardy. Otázkou, kterou bude projekt řešit, je postavení, struktura, pravomoci a zodpovědnost instituce organizující hodnocení. Posuzovat se bude, zda instituce bude koncipována jako samostatná, či bude součástí nějaké instituce jiné, např. ministerstva. Součástí bude výchova odborníků na hodnocení v oblasti metodiky hodnocení obecně, hodnocení institucí konkrétně, financování a řízení v oblasti VaVaI a základů legislativy s těmito procesy spojenými ve snaze připravit odborné pracovníky pro budoucí nezávislou hodnotící instituci. Vybraní experti se společně se členy expertního týmu zúčastní krátkodobých pobytů v zahraničí, kde se podrobně seznámí s praktickými aspekty hodnocení a financování ve vybraných evropských zemích (Velká Británie, Finsko, Německo, Francie, Rakousko, Nizozemsko, Dánsko). 07 „Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí“ Cílem této klíčové aktivity je koordinovaný postup výkonné rady a projektového týmu při budování konsensu mezi všemi cílovými a zájmovými skupinami a působení na politickou reprezentaci tak, aby byly vytvořeny co nejpříznivější podmínky pro přijetí navrhovaných změn. Prostředkem ke splnění této klíčové aktivity budou pracovní setkání výkonné rady 101

projektu a týmu projektu s přizvanými odbornými konzultanty a významné zapojení cílové skupiny do řešení projektu, a dále pravidelné schůzky s RVVI a poradci předsedy vlády, na kterých budou ujasňována stanoviska a hledán konsensus v základních principech. Pro politickou reprezentaci budou pořádány semináře v Poslanecké sněmovně i Senátu Parlamentu ČR. Pro širší zainteresovanou veřejnost budou organizovány veřejné konzultace s prezentací výsledků. Předpokladem úspěšné realizace projektu je dlouhodobá a intenzivní spolupráce týmu projektu s Radou pro výzkum, vývoj a inovace a její Komisi pro hodnocení výsledků, zástupci jednotlivých poskytovatelů podpory a reprezentacemi profesních skupin (Akademie věd, Rada vysokých škol, Konference rektorů, Asociace výzkumných organizací a další). Zdroje: 1.

Projekt „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (blíže o projektu na web stránkách Ministerstva školství, mládeže a tělovýchovy ČR: http://metodika.reformymsmt.cz/detaily-projektu)

102

IPn Metodika - efektivní systém hodnocení a financování výzkumu, vývoje a inovací – prezentácia z konferencie

Obsah

• 1. Projekt IPn Metodika IPn Metodika - Efektivní systém hodnocení a financování výzkumu, vývoje a inovací

• 2. Cíle projektu • 3. Klíčové aktivity

Ing. Viera Hudečková, Ministerstvo školství, mládeže a tělovýchovy České republiky, expert klíčové aktivity „Informační podpora“

www.metodika.reformy-msmt.cz 1 CVTI Bratislava, 2. 4. 2014

Projekt IPn Metodika

Projekt IPn Metodika

• Cílem projektu je o zatraktivnit prostředí výzkumu, vývoje a inovací (VaVaI) pro vědecké

• Návrh nového systému hodnocení bude vycházet z doporučení Mezinárodního auditu výzkumu, vývoje a inovací v ČR, který důrazně varoval před mechanistickým pojetím Metodiky 2012 .

pracovníky;

• Výsledky jeho řešení budou využívány orgány státní správy, poskytovateli podpory a dotknou se všech výzkumných organizací a jejich pracovníků.

o podpořit excelenci ve VaVaI;

• Řešení IPn Metodika bylo zahájeno 1. 2. 2012. • Předcházela mu široká diskuse o obsahu jak v realizačním týmu, tak

o motivovat mladé lidi pro práci ve VaVaI;

na Radě pro výzkum, vývoj a inovace, kde byla dojednána koordinace řešení „IPn Metodika“ a „Metodika 2013“

o zvýšit prestiž vědecké práce nalézt mechanismy na finanční ohodnocení podle kvality odvedené práce.

o

2

3

CVTI Bratislava, 2. 4. 2014


Cíle projektu

Projekt IPn Metodika • Základní platforma pro přípravu návrhu a ověření nového systému

• Projekt vychází z cílů a opatření strategických dokumentů vlády ČR:

hodnocení jako klíčového podkladu pro následné doporučení Rady vládě ČR.

• Reforma systému VaVaI; • Národní politika VaVaI na léta 2009 – 2015; • Strategie mezinárodní konkurenceschopnosti na období 2012-2020; • Národní inovační strategie; • Doporučení Mezinárodního auditu; • Dlouhodobé principů hodnocení a financování • Dobré zahraniční praxe.

• Hlavní odbornou garantkou projektu je prof. Ing. Jitka Moravcová, CSc. (VŠCHT Praha).

• Celkový rozpočet projektu je 4,1 mil. EUR a je financován z OP Vzdělávání pro konkurenceschopnost.

4

5



103

Cíle projektu

Cíle projektu

• Hlavním cílem projektu je vytvořit návrh nového systému hodnocení

• Odborná příprava lidských zdrojů, specialistů v oblasti bibliometrie a

a financování VaVaI z veřejných prostředků tak, aby se stal zdrojem informací pro strategické řízení systému VaVaI na úrovni státní správy, poskytovatelů, programů a VO a kladl důraz na excelenci a střednědobé plánování.

hodnocení institucí VaVaI.

• Studie proveditelnosti vzniku nezávislé hodnotící instituce. • Návrh souboru transformačních kroků a harmonogramu postupných změn tak, aby byla zajištěna stabilita celého systému VaVaI v přechodném období.

• Návrh oborové metodiky hodnocení (OMH) projde veřejnou oponenturou, malým a velkým pilotním otestováním.

• Návrh souboru legislativních změn, nutných pro implementaci nových

• Návrh hodnocení VO bude zohledňovat ukazatele kvantitativní i

systémů.

kvalitativní a bude reflektovat budoucnost VO.

• Tyto cíle jsou sdruženy do logických celků a dále rozpracovány v

• Do hodnocení vysokých škol budou zahrnuty i umělecké a tvůrčí

rámci jednotlivých klíčových aktivit projektu.

výsledky. 6

7 CVTI Bratislava, 2. 4. 2014


Klíčové aktivity

Klíčové aktivity

• 01 „Informační podpora“

• 02 „Systém hodnocení“

• Analýza zavedené struktury IS VaVaI v ČR (Rejstřík informací o

• Vytvoří oborové metodiky hodnocení (OMH), které budou podrobně

výsledcích - RIV) především z hlediska úplnosti, spolehlivosti, uživatelské přívětivosti a možnostem realizace nadstavbového softwaru ke zpracování informací nutných pro navrhované hodnocení.

popisovat hodnotící kritéria pro hodnocení hodnocených jednotek VO v jednotlivých oborech podle světových oborových standardů a navrhne další vhodné indikátory specifické podle typu VO.

• Hodnocení však nelze realizovat bez detailní bibliometrické analýzy,

• Ověří navržené hodnocení na vybraném vzorku všech typů VO, a to

jak ji umožňují světové databáze vědeckých informací:

včetně informovaného peer-review zahraničními odborníky, jehož výsledky budou mít hodnocené VO k dispozici.

• Web of Science společnosti Thomson Reuters nebo • Scopus společnosti Elsevier • Zajištění dalších informačních služeb identifikovaných v průběhu

• Předpokládané řešení se bude opírat o ověřené zahraniční praxe a zkušeností.

návrhu oborové metodiky hodnocení. CVTI Bratislava, 2. 4. 2014

8


Klíčové aktivity

9

Klíčové aktivity

• 02 „Systém hodnocení“

• 03 „Systém financování“

• Předmětem hodnocení bude hodnocená jednotka (HJ), která se do

• Návrh modelů institucionálního financování promítne výkonnostní

hodnocení v příslušném oboru přihlásí.

principy hodnocení do systému financování.

• Bude se hodnotit kvalita výsledků dosažených HJ za období

• Budou výrazně motivační, s důrazem na kvalitu a excelenci. • Současně zajistí stabilitu VO potřebnou pro jejich koncepční rozvoj, a

posledních cca 5 let, dopad výzkumu HJ a institucionální předpoklad rozvoje HJ (jako např. zhodnocení způsobu řízení HJ včetně řízení lidských zdrojů a materiálního zázemí.

tím i stabilitu a efektivnost vkladů do personálních a materiálních kapacit.

• Výsledkem zhodnocení každé HJ budou hodnotící zpráva HJ a VO a

• Nový způsob rozdělování institucionální podpory by měl přímý vztah k

výkonnostní profil VO s písemným odůvodněním výsledků zhodnocení a doporučení.

výsledkům hodnocení.

• Hodnocení VO bude realizováno jednou za cca 5 let a bude probíhat v angličtině.


10

11 CVTI Bratislava, 2. 4. 2014

104

Klíčové aktivity

Klíčové aktivity • 04 „Velké pilotní ověření“

• 03 „Systém financování“

• Cílem je realizace velkého pilotního ověření (VPO) způsobu

• Institucionální financování VO, na rozdíl od čistě retrospektivní

hodnocení navrženého v klíčové aktivitě 02 na všech typech VO, v oborech, kam se přihlásí jejich HJ.

současné Metodiky, by mělo mít také složku prospektivní a obě složky se mají navzájem účelně doplňovat.

• Smlouvy mezi VO a poskytovatelem podpory by mohly být uzavírány na

• Do ověření nového způsobu hodnocení budou mít možnost podat

dobu optimálně 5 let.

přihlášku VO z řad VVŠ, ústavů AV ČR a všech dalších typů VO.

• Součástí smlouvy budou i návrhy represivních prvků, pokud jednotliví aktéři nebudou svoje závazky plnit.

• V rámci VPO bude mimo jiné vyhodnocena finanční a časová

• Nový systém financování VO by měl umožnit jejich rozvoj a také

náročnost celého procesu a budou identifikovány nezamýšlené efekty hodnocení.

kultivovat české vědecké prostředí a zvýšit evaluační kulturu.


12


Klíčové aktivity

13

Klíčové aktivity • 06 „Institucionální zajištění hodnocení“

• 05 „Harmonogram pro přechodné období a podklady pro legislativní změny“

• Bude zpracována studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení.

• Postup v přechodném období 2015 – 2017, aby uvedení nových

• Stanovení postavení, struktury, pravomoci a zodpovědnosti

systémů vypracovaných v rámci projektu bylo plynulé a bez diskontinuit či velkých skoků, které by způsobily nestabilitu systému.

instituce organizující hodnocení.

• Součástí bude výchova odborníků na hodnocení. • Vybraní experti se zúčastní krátkodobých pobytů v zahraničí, kde se

• Bude navržen harmonogram jednotlivých kroků a legislativních změn

podrobně seznámí s praktickými aspekty hodnocení a financování ve vybraných evropských zemích (Velká Británie, Finsko, Německo, Francie, Rakousko, Nizozemsko, Dánsko).

tak, aby návrh nového systému mohl platit v optimální variantě od roku 2018.


14


Klíčové aktivity

Aktuální stav

• 07 „Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí“

• Koordinovaný postup při budování konsensu mezi všemi cílovými a zájmovými skupinami a působení na politickou reprezentaci tak, aby byly vytvořeny co nejpříznivější podmínky pro přijetí navrhovaných změn.

• Pracovní setkání výkonné rady projektu a týmu projektu s přizvanými

• Proběhlo výběrové řízení v rámci veřejné zakázky. Vítěz připraví návrh: • Struktury hodnocení hodnocených jednotek a struktury oborů; • Oborové metodiky hodnocení; • Procesní pravidla hodnocení; • Informační podpora hodnocení; • Podrobná SWOT analýza institucionální základny VaV v ČR a srovnání s dobrou praxí zemí EU;

• Návrh modelů financování; • Modelové ověřování dopadů nového systému institucionálního

odbornými konzultanty, s Radou a poradci místopředsedy vlády a hledáni konsensusu v základních principech.

financování;

• Pro širší zainteresovanou veřejnost budou organizovány veřejné

• Příprava a realizace malého pilotní hodnocení.

konzultace s prezentací výsledků.


15

16


105

17

Závěr • Předpokladem úspěšné realizace projektu je dlouhodobá a intenzivní spolupráce týmu projektu s:

• Radou pro výzkum, vývoj a inovace a její Komisi pro hodnocení výsledků;

• Zástupci jednotlivých poskytovatelů podpory a reprezentacemi profesních skupin (Akademie věd, Rada vysokých škol, Konference rektorů, Asociace výzkumných organizací a další).

Děkuji za pozornost!

www.metodika.reformy-msmt.cz 18 CVTI Bratislava, 2. 4. 2014

106

SK CRIS ako nástroj integrácie dát o vede na národnej úrovni

Danica Zendulková

CVTI SR - Slovak Centre of Scientific and Technical and Information [email protected]

pracuje ako vedúca Oddelenia správy a prevádzky CIP VVI v rámci NCP VaT.

V kontexte slovenského právneho prostredia môžeme systém CRIS 18 chápať ako informačný systém verejnej správy zabezpečujúci zber, spracovanie, poskytovanie a využitie údajov o výskume, vývoji a inováciách podporovaných z verejných zdrojov. V zmysle zákona č. 275/2006 Z. z. o informačných systémoch verejnej správy a o zmene a doplnení niektorých zákonov19 informačným systémom rozumieme funkčný celok zabezpečujúci cieľavedomú a systematickú informačnú činnosť (získavanie, poskytovanie a sprístupňovanie údajov, zhromažďovanie, spracúvanie, prenos, ukladanie, archivácia a likvidácia údajov) prostredníctvom technických a programových prostriedkov. Tento systém nadväzuje na Informačný systém výskumno-vývojového potenciálu (prevádzkovaný v období rokov 2000 – 2007) a Informačný systém CIP VVI (2008-2012), ktorý definuje zákon č. 172/2005 z 21. marca 2005 o organizácii štátnej podpory výskumu a vývoja a o doplnení zákona č. 575/2001 Z. z. o organizácii činnosti vlády a organizácii ústrednej štátnej správy v znení neskorších predpisov (zákon č. 233/2008 Z. z., zákon č. 40/2011 Z. z. a zákon č. 352/2013 ) a súvisiace výnosy MŠVVaŠ SR. Z hľadiska kompetencií MŠVVaŠ SR je správcom CIP VVI a prevádzkovateľom je CVTI SR [1].

Obsah SK CRIS SK CRIS pracuje s viacerými druhmi dát. Štruktúra údajov obsahovo vychádza zo starších verzií informačného systému, predovšetkým z databázy, sprístupňovanej až do konca roka 2012 cez Centrálny informačný portál pre výskum, vývoj a inovácie. Obsah systému SK CRIS je tvorený:  18 19

Registrom projektov, financovaných z verejných zdrojov

Current Research Information System; systém aktuálnych výskumných informácií http://www.informatizacia.sk/legislativa-sr/684s

107

   

Registrom organizácií VaV Registrom výskumníkov Databázou výsledkov VaV Databázou laboratórnej infraštruktúry a služieb

SK CRIS obsahuje aj údaje z externých zdrojov. Môžeme povedať, že:   

SK CRIS umožňuje realizovať všetky zbery dát, kontinuálne realizované v rámci predchádzajúcich verzií informačného systému Nad rámec týchto zberov SK CRIS prepojením s externými systémami integruje množstvo dát, ktoré sú primárne zbierané pre potreby iných systémov. Všetky údaje sú uložené v relačnom dátovom modeli SK CRIS tak, aby bolo možné zaznamenávať väzby medzi vloženými údajmi a súčasne realizovať kontrolu vložených dát z hľadiska obsahu, zameranú predovšetkým na predchádzanie duplicitne vkladaných dát.

Dátový model CERIF Štruktúra dát SK CRIS je prispôsobená odporučeniam Európskej komisie pre oblasť automatizácie vedeckovýskumných informácií a zodpovedá dátovému formátu CERIF. CERIF (Common European Research Information Format) je dátový XML formát určený na organizáciu dát o vede a výskume. Je odporučený Európskou komisiou ako štandard určený pre oblasť automatizácie vedeckovýskumných informácií [2]. Jeho vývoj od roku 2000 zabezpečuje asociácia profesionálov v oblasti spracovania vedeckých informácií EuroCRIS. Podstatou formátu CERIF je dátový model, ktorý umožňuje metadátovú reprezentáciu výskumných entít, ich aktivít a vzájomných väzieb, ako aj výsledkov. Prvky CERIF-u majú definovanú základnú štruktúru, sémantiku a väzby a sú delené do štyroch hierarchicky usporiadaných kategórií (obrázok č. 1): 1. 2. 3. 4.

základné entity (Core Entities – Person, Projects, Organisation) výsledkové entity (Result Entities – Publications, Patents, Products) entity 2. úrovne (2nd Level Entities) prepojovacie entity (Link Entities)

108

Obrázok 1 Model CERIF [3]

Základné entity sú subsystémami CRIS, výsledkové entity sú jedným subsystémom obsahujúcim tri typy objektov. Entity 2. úrovne sú samostatné objekty, ktoré vyjadrujú súvzťažnosť základných a výsledkových entít. Patria sem napríklad podujatia, ocenenia, životopisy a pod. (obrázok č. 2). Každá z entít je charakterizovaná množstvom atribútov (polí), ktoré ju identifikujú a podrobnejšie definujú.

Obrázok 2 Entity 2. stupňa v prepojení na základné a výsledkové entity, ver. 1.4 [3]

109

Prepojovacie entity vyjadrujú vzťahy medzi entitami definovanými v bodoch 1 – 3. Prepojovacia entita spája vždy dve entity medzi sebou: môžu to byť dve základné entity, základná a výsledková entita alebo niektorá z uvedených entít a entita 2. úrovne. Napríklad prepojovacia entita Person_OrganisationUnit spája osobu a organizáciu, Project_ResultPublication spája projekt a výsledkovú entitu publikácia. Spojenie prepojovacími entitami umožní vyhľadávať v personálnej databáze podľa organizácie (vyhľadať expertov zamestnaných v konkrétnej organizácii) alebo publikáciu podľa projektu (vyhľadať publikácie, ktoré vznikli ako výsledok riešenia konkrétneho projektu). V kontexte entít sú definované nasledujúce vlastnosti: 1. Sémantická vrstva obsahuje roly a typy (Semantic Features), ktoré podrobnejšie určujú vzájomné väzby medzi entitami. Ako príklad roly osoby vo vzťahu k organizácii možno uviesť roly vybrané z množiny rolí príslušnej sémantickej funkcie: riaditeľ, zamestnanec, učiteľ, študent a pod. Typy sú v súčasnosti definované vo vzťahu k výsledkovým entitám – publikáciám. Ide napríklad o knihu, článok v časopise, článok v konferenčnom zborníku, plagát a pod. 2. Vytváranie jazykových verzií (Multiple Language Features), viacjazyčnosť vybraných atribútov, je druhou a zatiaľ poslednou vlastnosťou, ktorá umožňuje dosiahnuť medzinárodnú zrozumiteľnosť údajov. Aktuálna schéma prepojenia základných a výsledkových entít so sémantikou, vrátane prepojenia na súvisiace externé systémy (HR – Ľudské zdroje, internetové stránky, financie, projektový manažment a repozitár) sa nachádza na obrázku č. 3.

Obrázok 3 Diagram prvkov formátu CERIF [4]

Kompletný dátový model CERIF obsahuje niekoľko subsystémov, sémantiku, XML schémy, SQL skripty a príklady. Vytvorený je výmenný formát pre metadáta CERIF_XML. Význam formátu CERIF spočíva v tom, že umožňuje spracovanie informácií o výskume s adekvátnou kvalitou, ich archiváciu, sprístupňovanie a vzájomnú výmenu. 110

Podporuje transfer znalostí všetkým zainteresovaným: rozhodovacej sfére, zvlášť pre oblasť hodnotenia výskumu; manažérom a stratégom výskumu; výskumníkom a v neposlednom rade aj verejnosti. Sémantické vzťahy medzi vloženými údajmi umožňujú širokú flexibilitu pri získavaní informácií zo systému. Dátový model SK CRIS Keď sa chceme detailnejšie venovať dátovému modelu systému SK CRIS, je potrebné začať jeho databázovou architektúrou. Systém obsahuje niekoľko databáz (obrázok č. 4). Databázy sú rozdelené do dvoch skupín:  

databázy registrov (SK CERIF, Certification, Statistics, Audit) systémové databázy (systémová databáza Liferay portálu, databáza pre systém pre úložisko dokumentov, ESB databáza)

Databáza SK CERIF je založená na štandarde aktuálnom v čase ukončenia analytických prác, ktorým bol CERIF 2008 v1.3. Uvedený dátový formát bol implementovaný s určitými rozšíreniami vzhľadom na špecifické požiadavky systému SK CRIS, ktoré boli nad rámec CERIF. Dáta formulára doplnkového štatistického zisťovania výskumno-vývojového potenciálu sú uchovávané v databáze Statistics, spolu so štatistickými dátami pre laboratórnu infraštruktúru výskumu a vývoja. Databáza Certification je plne venovaná dátam žiadosti o vykonanie hodnotenia spôsobilosti vykonávať výskum a vývoj.

Obrázok 4 Databázy systému SK CRIS

111

Databáza SK CERIF je nezávislá od databáz Certification a Statistics. Akékoľvek prepojenia (formou tzv. cudzích kľúčov databázy SQL) smerujú len z databáz Certification, prípadne Statistics na databázu SK CERIF, nie naopak. Na obrázku č. 5 sa nachádza grafické zobrazenie prepojenia niektorých databázových objektov SK CRIS. Základom je projekt, na ktorý sú naviazané organizácie, osoby, výzvy a financovanie.

Obrázok 5 Databázové objekty SK CRIS 112

Integrácia dát o vedeckých aktivitách Potreba integrácie dát o vede a výskume vyplýva predovšetkým zo skutočnosti, že existujú rôzne systémy, ktoré evidujú údaje o vedeckých aktivitách, výstupoch a subjektoch na rôznej úrovni, v rôznej štruktúre a hĺbke spracovania. Integrácia sa v čase uvedenia SK CRIS do prevádzky týka predovšetkým dát o projektoch výskumu a vývoja a tiež výsledkov realizácie týchto aktivít. V praxi to znamená, že sa to týka informačných systémov grantových agentúr a systémov registrujúcich publikačnú činnosť. Register projektov vedy a výskumu ktorý sa buduje od roku 2000, má za cieľ zhromaždiť údaje o všetkých projektoch financovaných z verejných zdrojov. Do databázy SK CRIS sa zbierajú tieto druhy projektov :  štátne programy výskumu a vývoja,  projekty riešené v rámci stimulov na podporu VaV,  projekty financované prostredníctvom rezortných dotácií,  projekty podporované Agentúrou na podporu vedy a výskumu (APVV),  projekty VEGA riešené na vysokých školách a na SAV,  projekty KEGA,  projekty financované zo štrukturálnych fondov EÚ.

V súčasnosti register projektov SK CRIS obsahuje údaje o cca 10500 projektoch. Aby riešitelia projektov nemuseli údaje o riešených projektoch vkladať opakovane do rôznych systémov, bolo vytvorené prepojenie s existujúcimi systémami, ktoré zbierajú údaje o jednotlivých kategóriách projektov. Ide najmä o systémy grantových agentúr APVV, VEGA, KEGA a Stimuly na podporu VaV. Potenciálne bude možné čerpať údaje aj z ďalších systémov o projektoch, ktoré budú na integráciu dát pripravené. Za týmto účelom bolo vytvorené univerzálne integračné rozhranie, ktoré import (preberanie) dát z externých systémov do SK CRIS umožňuje. Je založené na protokole SOAP [5] a jazyku WSDL [6]. Integrácia s externými dodávateľmi dát je realizovaná využitím riešenia Open ESB. Open ESB je platforma umožňujúca integráciu s rôznymi systémami a zároveň plne podporujúca servisne orientovanú architektúru. Pre zjednodušenie možnosti evidencie výsledkov výskumu a súčasne pre uľahčenie vytvárania odborného profilu výskumníka bolo implementované komunikačné rozhranie medzi platformami CREPČ a SK CRIS. Komunikačné rozhranie využíva existujúcu webovú službu platformy CREPČ umožňujúcu stiahnuť verejné informácie o publikáciách výskumníkov (obrázok č. 6).

113

Obrázok 6 Záznam publikácie v CREPČ

Systém SK CRIS potrebné informácie o publikáciách výskumníka stiahne prostredníctvom vytvoreného webového rozhrania. Systém ponúkne výskumníkovi jeho publikácie uložené v systéme CREPČ. Keďže v súčasnosti nie je vytvorený jedinečný identifikátor výskumníka, systém SK CRIS využíva operáciu vyhľadania podľa mena a priezviska autora (obrázok č. 7).

Obrázok 7 Zoznam nájdených publikácií konkrétneho výskumníka.

CREPČ poskytuje nasledovné informácie o publikácií, ktoré sú zaujímavé pre platformu SK CRIS:         

názov publikácie a jej preklad, autorské záhlavie publikácie, zaradenie publikácie podľa kategorizácie EPC, miesto vydania, číslo, ročník a edícia, názov zborníka a ISBN (ak ide o článok na konferencii), názov časopisu a ISSN (ak ide o článok do časopisu), kľúčové slová priložené k publikácií, autorov publikácie.

Stiahnutý záznam publikácie (obrázok č. 8) je po schválení výskumníkom uložený v jeho osobnom priestore.

114

Obrázok 8 Publikácia CREPČ pridaná do SK CRIS

Zdroje: 1.

2. 3.

4.

5. 6.

Zendulková, D.: Štátne informačné systémy o vede v EÚ. CVTI SR: Bratislava, 2011.- 66 s. ISBN:978-8089354-04-7 [online] . [cit. 25.3.2014] Dostupné na internete: http://nispez.cvtisr.sk/userfiles/file/Aktivita%204.1/Statne_IS_o_vede_v_EU_final(1).pdf CERIF: the Common European Research Information Format. [Online]. [cit. 25.3.2014] Dostupné na internete: Jörg, B.: CERIF: Spoločný formát informácií o výskume. Formálne kontextuálne vzťahy na prechod cez labyrint vedeckých poznatkov. In Informačné systémy o vede v EÚ. Štandardizácia a kompatibilita. Zborník z medzinárodnej konferencie. CVTI SR, Bratislava 23. 4. 2009. [Online]. [cit. cit. 25.3.2014] Dostupné na internete: CERIF tutoriál . [Online]. [cit. 25.3.2014] Dostupné na internete: http://www.eurocris.org/Uploads/Web%20pages/CERIFtutorial/CERIF%20tutorial_Porto_13.11.2013%20%20Jan%20Dvorak.pptx Mitra, N., Lafon, Y.: SOAP Version 1.2 Part 0: Primer (second Edition). [Online]. [cit. 25.3.2014] Dostupné na internete: http://www.w3.org/TR/soap12-part0 Christensen, E., et al.: Web Services Description Language (WSDL) 1.1 [Online]. [cit. 25.3.2014] Dostupné na internete: http://www.w3.org/TR/wsdl

115

SK CRIS ako nástroj integrácie dát o vede na národnej úrovni – prezentácia z konferencie

Prečo SK CRIS CRIS = Current Research Information System, resp. Systém aktuálnych informácií o vede  Medzinárodné združenie euroCRIS, http://www.eurocris.org  CVTI SR členom od roku 2007  Štandardy EÚ pre IS o vede – dátový formát CERIF 

SK CRIS ako nástroj integrácie dát o vede na národnej úrovni Danica Zendulková, CVTI SR

INFORMAČNÉ SYSTÉMY O VEDE: Integrácia pre otvorený prístup k vedeckým výstupom CVTI SR, 2.apríl 2014 Centrum vedecko-technických informácií SR, [email protected]

Obsah SK CRIS

Dátový model SK CRIS

Výskumníci  Projekty  Organizácie  Výsledky



Implementovaný CERIF 1.3.



Základné entity (projekty, organizácie, osoby) Výsledkové entity (publikácie, patenty, produkty,





inovácie)



Entity 2. úrovne

(laboratórna infraštruktúra)

Prepojovacie entity Projekt Organizácia  Sémantická vrstva Organizácia O je spoluriešiteľom 

Projektu P



Vytváranie jazykových verzií

Centrum vedecko-technických informácií SR, [email protected]


CERIF – sémantika (príklad)

Dátový model SK CRIS

výskumník X je autor publikácie P

organizácia O je vydavateľ publikácie P publikácia P je financovaná z projekt 1

Výskumník

organizácia O je riešiteľom projekt1 výskumník X je zamestnancom organizácie O

Publikácia

výskumník X je zodpovedným riešiteľom projektu1 Štatistické dáta hodnotenia spôsobilosti

Citácia Plánované ukazovatele projektu

Produkt (CERIF)

Patent (CERIF) Certifikácia

patenty, úžitkové vzory, dizajny, ochranné známky, dodatkové ochranné osvedčenia,objav,typografie polovodičových výrobkov

poloprevádzka, overená technológia, odroda, plemeno, prototyp, funkčná vzorka, certifikovaná metodika, softvér, iný výsledok

Inovácia

Projekt 1

Ocenenie

Projekt Laboratórium Štatistické dáta infraštruktúry

Publikácia P

je zodpovedným riešiteľom vydala je riešiteľom

Podujatie Organizácia

Služba

Štatistické dáta organizácie

financovan á

Vybavenie Výzva

Organizácia O

Rozpočet

je autor Výskumník X

je zamestnancom

Fond



116

Výskumníci

Výskumníci

Experti MŠVVaŠ SR Riešitelia projektov  Iné osoby registrované v databáze CIP VVI  Register zamestnancov VŠ  Register zamestnancov SAV  



Meno, priezvisko tituly



Kľúčové slová, anotácia



Odbor vedy a výskumu

Kontaktné údaje  relačnosť 

◦ Riešiteľské organizácie ◦ Riešené projekty ◦ Výsledky

Informácie v registri sú získané so súhlasom zaregistrovaných osôb alebo z verejných zdrojov, súlad so zákonom č. 122/2013 Z. z. o ochrane osobných údajov



Projekty  



Projekty

Projekty riešené od roku 2000, zozbierané v rámci starších verzií systému Údaje importované zo systémov grantových agentúr (APVV, VEGA, KEGA, Stimuly VaV) Údaje vložené riešiteľmi cez online formuláre

Názov Kľúčové slová, opis projektu  Odbor vedy a výskumu  Obdobie riešenia  Kto ho financuje  Rozpočet projektu  relačnosť  

◦ Riešiteľské organizácie ◦ Riešitelia

◦ Výsledky Informácie v registri sú získané na základe zákona č. 172/2005 Z. z. o organizácii štátnej podpory výskumu a vývoja v znení neskorších Centrum vedecko-technických informácií SR, predpisov


[email protected]

Organizácie    

Výsledky Publikácie  Patenty  Produkty  Inovácie 

Organizácie VaV vypĺňajúce výkaz VVP Držitelia certifikátu spôsobilosti vykonávať VaV Riešitelia projektov Organizácie spojené s VaV ináč ako jeho vykonávaním (ÚOŠS, grantové agentúry a pod.)

Vložené výskumníkmi a riešiteľmi projektov alebo prevzaté z Centrálneho registra publikačnej činnosti, resp. inštitucionálneho RPČ.

Informácie v registri sú získané na základe zákona č. 172/2005 Z. z. o organizácii štátnej podpory výskumu a vývoja v znení neskorších predpisov Centrum vedecko-technických informácií SR, [email protected]


117

Integrácia dát - projekty

Integrácia dát - CREPČ



Externé údaje - prehľad

Prínos SK CRIS 

Organizácia SAV

Údaje Projekty VEGA, medzinárodná spolupráca Publikačná činnosť



Výskumníci – zamestnanci SAV



APVV

Projekty

MŠVVaŠ SR – sekcia VŠ

Projekty VEGA



Projekty KEGA



CREPČ Výskumníci - Zamestnanci VŠ ASFEU MŠVVaŠ



Projekty OP VaV

 


Skvalitnenie a kompletizácia zozbieraných dát o vede a výskume a ich vzájomné prepojenie Integrácia dostupných dát z externých systémov a ich logické previazanie so zozbieranými údajmi Vytvoril sa technický základ na interoperabilitu s podobnými systémami v zahraničí Prezentácia vedy a výmena nových poznatkov Informovanie podnikateľskej sféry o výsledkoch výskumu Získanie všestrannej podpory pre vedu a výskum Plánovanie zdrojov na zabezpečovanie potrieb vedy Zlepšenie vnímania vedy verejnosťou Centrum vedecko-technických informácií SR, [email protected]

Pozrite si...

https://www.skcris.sk

Ďakujem za pozornosť Centrum vedecko-technických informácií SR, [email protected]

118

SK CRIS as an Information Resource for Technology Transfer

Adriana Shearmam CVTI SR - Slovak Centre of Scientific and Technical and Information [email protected]

pracuje na Oddelení hodnotenia kvality pracovísk vedy a techniky v rámci Odboru transferu technológií.

Introduction According to figures published in Innovation Union scoreboard 2013 20, aimed at measuring the impact of the economic crisis on the research and innovation landscape and which provided a comparative assessment of average innovation performance based on a composite indicator built on 2010 and 2011 Eurostat data using 24 indicators for all 27 European Union member states, Slovakia along with eight other states was classified as a moderate innovator. The performance of this group extends from less than 10% to 50% of the EU 27 average innovation performance. For a brief country profile, Slovakiaʼs innovation performance is below the EU 27 average performance. Its relative strengths are in Human Resources. Its relative weaknesses were in Open, Excellent and Attractive Research Systems and Intellectual Assets. High growth was observed for New Doctorate Graduates (the highest growth of all Member States), PCT Patents in Societal Challenges and Community Trademarks. A strong decline was observed for Non-R&D Innovation Expenditure and Licence and Patent Revenues from Abroad. Growth Performance in Human Resources, Finance and Support and Intellectual Assets is above the average and in Firm Investments well below the average. The report also concluded that, of the moderate innovators, Slovakia, Italy, Lithuania and Spain had been able to improve their innovation performance since the Europe2020 strategy was launched. We believe that the National Infrastructure for Supporting Technology Transfer in Slovakia21 (NITT SK), a national project co-funded by the European Union, will substantially contribute to illustrating an even more optimistic picture of Slovakia in those indicators which are associated with intellectual property and technology transfer. 20

THE EUROPEAN UNION. Innovation Union Scoreboard 13 [online]. The European Union, 2013 [viewed 11 March 2014]. ISBN 97892-79-27583-8. Available from: http://ec.europa.eu/enterprise/policies/innovation/files/ius-2013_en.pdf 21

http://nitt.cvtisr.sk

119

National Infrastructure for Supporting Technology Transfer - NITT SK Project

Basic facts about NITT SK project The NITT SK project is the national project implemented within the European Union s Research and Development Operational Programme with an overall budget of €8,234,571.17 co-financed by the European Regional Development Fund. The principle investigator of the project is the Slovak Centre of Scientific and Technical Information in Bratislava, a state contributory research institution and the project s target group is the academic community in Slovak public higher education institutions (HEI), the Slovak Academy of Sciences (SAS) and public research institutes. The project was launched in June 2010 and concludes in December 2014. The strategic goal of the NITT SK project is to establish and implement the nationwide system to support application of the R&D results into social and economic practice in order to contribute to development of the knowledge-based society. The project has three specific objectives: 1. To establish a Technology Transfer Centre at the Slovak Centre of Scientific and Technical Information so as to ensure systematic support for technology transfer at a national level. 2. To assist the scientific community in the process of technology transfer via utilisation of the existing capacities and resources of the research and development information and communication technology infrastructure. 3. To enhance the effectiveness of the transfer of scientific knowledge and technology into the economy and society through the popularisation of science.

Three pillars of infrastructural technology transfer support The nationwide infrastructural support for technology transfer is realised via the National System for Supporting Technology Transfer in Slovakia (NSPTT)22 the core component of which is the National Technology Transfer Centre (NCTT). The National Portal for Technology Transfer (NPTT)23 serves by providing information on almost all aspects of technology transfer and being the access point to specialised support services (EPS). These services are divided into two categories: 22

http://nptt.cvtisr.sk/sk/poskytovane-sluzby-v-procese-transferu-technologii/expertne-podporne-sluzby-v-procese-transferutechnologii.html?page_id=509 23

http://nptt.cvtisr.sk/

120

1. specialist services which deal with intellectual property protection, 2. specialist services which relate to technology transfer. To date, the following services have been made available to academics via their institutional technology transfer centres of offices:                  

assistance in selecting research outcomes for industrial property protection and assessment of their commercialisation potential, advice on strategy for intellectual property protection, patent application preparation and filing in SR and abroad, representation at patent offices, state-of-the art analyses, commercialisation partner search, arranging meetings with commercialisation partners, IPR commercialisation strategy, collaboration in contract-drafting, negotiation and accompanying in negotiation meetings, technology marketing, partnering, setting up spin-off companies, monitoring of licence agreement compliance and of production outside terms of licence, preparation assessment of draft agreements, consultancy in and preparation of business plan for commercialisation via spin-off, assistance in setting up a spin-off company, marketing of technologies, funding search for development of spin-off company, preparation of technical or other type of documentation related to R&D outcomes, assistance in formulating requests for support in technology transfer and proposal of realisation of technology transfer.

A more detailed description of these services can be found in the respective section of the NPTT portal. Since the majority of the above services are complex and require special skills (e.g. patent attorneys, lawyers, experts in commercialisation and evaluation of intellectual/industrial property; some of these skills cannot be readily acquired via training but are part of the natural character of an expert) they tend to be costly with an average fee of €1,000 – 1,500 per day or even more depending on the service task. Currently, the ESP services are provided to the public HE and R&D institutions free of charge with more than sixty requests for ESP services being processed over the twelve-month period since they were introduced in 2013. There appears to be a natural expectation and requirement for the NSPTT system to operate on a principle of sustainability in the future when no funds for this purpose might be available from an EU project, albeit with some income from collaboration with industry or possible royalties from licensing or some form of subsidy from the state to form and sustain a 121

Patent Fund. Especially in the event that the number of costly requests for EPS exceeds the funding resources, proper selection criteria should be in place, with a methodology24 to help in decision-making. However, due to the highly specific and complex character of activities related to technology transfer, the selection criteria should be informative rather than decisive.

Competence of HE and R&D institutions Selection of the parameters for assessing HE and R&D institutions performance in R&D, innovation and technology transfer were prepared on the basis of the following preconditions: 

no additional information will be requested from R&D institutions (i.e. using the existing data, so that R&D institutions are not exposed to an additional administrative burden)



use only databases administered by or licensed to the Slovak Centre of Scientific and Technical Information



prime focus on indicators relating to technology transfer



two-level aspect (faculty/research institute and research team where no information is available on the former)



aim of the competence assessment is to provide complementary information for decision-making for funding technology transfer at public HE and R&D institutions

Databases and parameters A comprehensive list of parameters was prepared, inspired by e.g. U-Multirank25, ARRA26 reports and Snowball metrics27. Each parameter was assigned with an information resource:    

24 25 26 27 28

Slovak Current Research Information System28 – SK CRIS, Register of publications of universities classified by categories – CREPČ, analytical tool for evaluation based on bibliometric data – InCites, Thomson Reuters patent database – Derwent Innovation Index (Derwent II),

http://nitt.cvtisr.sk/ http://www.umultirank.org/ http://www.arra.sk/ http://www.snowballmetrics.com/ https://www.skcris.sk/

122



other publicly accessible databases – e.g. categorised publications of R&D institutions other than universities, on R&D-related awards, membership of professional international organisations, etc.

SK CRIS database Data resource on HE and R&D institutions - why and which SK CRIS data? In Slovakia, a research and development information system (ISVVP) existed prior to 2002, developed in a collaboration between the Ministry of Education of the Slovak Republic and Infostat (the Institute for Information and Statistics Slovakia) which was administered by the latter. In 2002, administration of this system was transferred to the Slovak Centre of Scientific and Technical Information. In addition, in 2002 the SCSTI, in collaboration with the Section for R&D at the Ministry of Education of the Slovak Republic, developed and launched the website which provided information on the state-funded organisation and management of R&D. At that time, ISVVP and the website existed as two independent software applications up to 2008. Meanwhile, work on a new R&D information system, R&D Central Information Portal (CIP VVI29), was underway. The data from the ISVVP were migrated into this new system and the CIP VVI portal was officially launched in 2008. A further step in upgrading the R&D information system in Slovakia was taken within the NISPEZ30 national project with the SCSTI as its principal investigator. The aim was to extend the CIP VVI portal, add new functionalities including inter-connection with other information systems while respecting EU standards, and to render work with the system more efficient. The upgrade led to the development of the SK CRIS system which was officially put into effect in January 2013. The information contents of the database are compliant with Act no. 172/2005 Coll.31 and related acts32. The data are divided into five main areas with the following information in the SK CRIS database33: 

Register of projects o SF EU-funded projects o R&D state projects o R&D stimuli projects

29

https://www.vedatechnika.sk Národný informačný systém podpory výskumu a vývoja na Slovensku – prístup k elektronickým informačným zdrojom, http://nispez.cvtisr.sk/ 31 Act no. 172/2005 on the State Support for Research and Development 32 ZENDULKOVÁ, Danica. Centrálny informačný portál pre výskum, vývoj a inovácie a jeho úloha v oblasti sprístupňovania vedeckých informácií. In: Zborník príspevkov z XI. ročníka odborného seminára pre pracovníkov knižníc Virtuálna knižnica – knižnica tretieho tisícročia [online]. Banská Bystrica: ŠVKBB, ©2011, 18 s. [viewed 30 March 2014]. Available from: http://www.svkbb.eu/zbornik/zbornik2010/data/CIPVVI_BB2011.pdf 30

33

ZENDULKOVÁ, Danica. Systém SK CRIS – slovenská veda na dlani . In: ITLib. Informačné technológie a knižnice. [online]. Bratislava: Centrum vedecko-technických informácií, 2012, 16(1), 7-10. [viewed 30 March 2014]. ISSN 1335-793X. Available from: http://itlib.cvtisr.sk/archiv/2012/1/system-sk-cris-slovenska-veda-na-dlani.html?page_id=1683

123

o o o o

Ministries-funded projects APVV agency-funded projects scientific VEGA projects (limited to HE and SAS institutions) cultural KEGA projects (limited to HE and SAS institutions)

At present, this register includes 10,512 projects. 

Register of organisations In addition to Slovak universities, the Slovak Academy of Sciences and statesubsidised research institutions, information in this register is supplied by private or non-for-profit research organisations which submit through this system their application for evaluation of their competence to perform research. At present, this register includes 1,271 organisations.



Register of researchers The basis comprises those experts who review and evaluate projects. Other sources are principal investigators and co-investigators of R&D projects and the CREPČ database, the central register of publications of HEIs in administration of the SCSTI. At present, this register includes 18,178 researchers.



Records of R&D outcomes In addition to publications, this includes intellectual property and outcomes of applied research in the form of products and innovations. At present, this register includes 7,492 various outcomes.



Other information This comprises financial parameters, laboratory infrastructure, R&D services provided by an HE or R&D institution, events, prizes awarded or various full-text supplements (e.g. curricula of researchers, etc.).

The CRIS SK database content provides the majority of data at institutional and also at individual researcher (teams) levels. The group parameters based on data in the SK CRIS database with brief description of indicators for R&D institutional and team levels are summarised in Table 1.

124

Table 1. Research and development, innovation and technology transfer group parameters identified in SK CRIS system.

R&D institutional and/or team level Area

description

Group

1.C Formal 1. Human potential pre-requisites

2.A Projects

- classification of academics from aspect of research field, expertise, specialisation, research degrees, degrees in education, membership in national, international scientific organisations, awards, etc. - domestic and foreign research projects in various scientific fields - involvement of R&D team/institution in national or international collaboration

2. Cooperation 2.B Collaboration

- number of Slovak or foreign R&D institutions participating in a project,

3. R&D environment

3.A Infrastructure and services

- investment in research facilities, equipment, - international exchange of academics (in and out) - specific services provided by R&D institutions

Example of use of SK CRIS data Figures 1 to 4 serve as examples of the practical application of SK CRIS data (along with the data from other databases as mentioned above) in assessment of the competences of selected faculties and institutes of the Slovak Academy of Sciences from the perspective of R&D, innovation and technology transfer for the 2010 period.

125

Fig. 1. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in technical sciences from perspective of R&D, innovation and technology transfer (2010) 11

11

10 10

5 9 7

73

12 13 14

48 14 14 18

44

19 19

41

22 22

39 22 32

23 24

30 26

29

28

TU Košice-F. manufacturing technol. TU Košice -F. electical eng. & infomatics SAS- Inst. infomatics SAS-Ins. materials & machine mechanics SAS-Inst. measurement sci. SAS-Ints. geotechnics SAS-Inst. electrical eng. ŽU Žilina -F. mechanical engin. SUT Bratislava -F. material technol. ŽU Žilina-F. special technology TU Košice -F. mechanical eng. SAS-Inst. construction & architecture TU Košice -F. metallurgy SUT Bratislava-F. electical eng. & infomatics ŽU Žilina-F. electrical eng. TU Zvolen-F. envi & manuf. technol. TU Zvolen-F. wood sci. & technol. SAS-Inst. materiasl res. TU Košice-F. civil eng. SUT Bratislava-F. civil eng. SUA Nitra-F. technology TU Košice-F. mining, ecol., process control... TU Košice-F. aeronautics ŽU Žilina-F. civil eng. SUT Bratislava-F. informatics & info technol. SUT Bratislava-F. architerture TrUAD Trenčín-F. special technol. SUT Bratislava-F. mechanical eng. TrUAD Trenčín -F. industr. technol. TrUAD Trenčín -F. mechatronics

Fig. 2. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in biological & chemical sciences from perspective of R&D, innovation and technology transfer (2010)

22

SUT Bratislava-F. chemistry & food technol.

22

68

SAS-Inst. inorganic chemistry

27

SAS-Inst. molecular biology SAS-Inst. polymers

28 67

SAS-Inst. genetics & plant biotechnol. SAS-Inst. chmistry

31

CFF Nitra-F. natural sci. MBU Banská Bystrica-F. natural sci.

32

CU Bratislava-F. natural sci.

45

PUPrešov-F. natural sci. & humanities

37 39

CMU Trnava-F. natural sci.

45

PJŠU Košice-F. natural sci.

42

CU Bratislava-F. pharmacy

126

Fig. 3. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in agricultural & veterinary sciences from perspective of R&D, innovation and technology transfer (2010) TU Zvolen-F. forestry

28 74

28

SAS-Inst. landscape ecology SAS-Inst. animal physiology

30

SUA Nitra-F. agrobiology & food resources

33

SAS-Inst. forest ecology

69

SUA Nitra-F. biotechnology & food sci.

35

TU Zvolen-F. ecol. & environ. sci.

65

SUA Nitra-F. horticulture & landscape eng.

Fig.4. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in mathematical sciences& physics from perspective of R&D, innovation and technology transfer (2010)

15

SAS- Inst. Physics

28 82 31

SAS-Inst. Experimental physics SAS-Geological inst. CU Bratislava-F. mathem., phys. & informat. SAS-Mathamatical inst.

43 66

SAS-Geophysical inst.

127

Conclusions The SK CRIS database is a valuable information resource for the assessment of research and development, innovation and technology transfer at Slovak higher education and R&D institutions:  the SK CRIS database collects and maintains the most current data on R&D activities of Slovak HE and R&D institutions, whether private or publicly-funded,  amongst databases administered by the Slovak Centre of Scientific and Technical Information, SK CRIS represents the most complete database (including historical data) on various aspects of research and development covering all publicly-funded, private and not-for-profit R&D institutions,  at the present stage, some data for assessment purposes have to be searched for and processed manually. However, this issue will be taken into consideration in future upgraded versions of the SK CRIS database. The plan is to generate final evaluation reports for either R&D institutions or teams automatically,  integration of other related databases with the SK CRIS database will contribute to its huge potential for becoming a complete tool utilised for a variety of purposes,  corrective measures should be introduced to render the data supply procedure more efficient and complete and to motivate all HE and R&D institutions to provide all information in compliance with legislative requirements.

128

SK CRIS as an Information Resource for Technology Transfer – prezentácia z konferencie

Podporujeme výskumné aktivity na Slovensku Projekt je spolufinancovaný zo zdrojov EÚ

CONTENTS

SK CRIS as an Information Resource for Technology Transfer

1. National Infrastructure for Supporting Technology Transfer in Slovakia - NITT SK Project a) Basic facts about NITT SK project b) Three pillars of infrastructural technology transfer support c) Competence of HE and R&D institutions in R&D, innovation and technology transfer d) Databases and parameters

Shearman Adriana Slovak Centre of Technical and Scientific Information Department of Technology Transfer

2. SK CRIS database a) Data resource on HE and R&D institutions - why and which SK CRIS data? b) Example of use of SK CRIS data – pie charts

Lamačská cesta 8/A, 811 04 Bratislava Slovak Republic [email protected]

Research Information Systems, 2nd April 2014, Bratislava Research Information Systems, 2nd April 2014, Bratislava

OBJECTIVE 1 NITT SK PROJECT

1. NITT SK Project Main objective is to propose and put into effect the national infrastructure to support technology transfer, and thus contribute directly to more intensive and efficient state support to research and development.

Three pillars

1. National System for Supporting Technology Transfer in Slovakia (NSPTT)

 Principal investigator: the Slovak Centre of Scientific and Technical Information in Bratislava  Operational programme: R&D  Co-financed by: European Regional Development Fund  Budget: €8,234,571.17  Duration: June 2010 – December 2014  Target group: academic community at SK universities, SAS, public research institutes

2. National Technology Transfer Centre (NCTT) - the core component of NSPTT 3. National Portal for Technology Transfer (NPTT) http://nptt.cvtisr.sk/ Research Information Systems, 2nd April 2014, Bratislava

Research Information Systems, 2nd April 2014, Bratislava

OBJECTIVE 1 NITT SK PROJECT

1. National System for Supporting Technology Transfer in Slovakia (NSPTT) specialised support intellectual property rights protection and technology transfer-related services (EPS) via NPTT portal

Some examples of specialised EPServices:  advice on strategy for intellectual property protection,  patent application preparation and filing in SR and abroad, representation at patent offices,  IPR commercialisation strategy,  evaluation of commercial potential,  collaboration in contract-drafting,  negotiation and accompanying in negotiation meetings,  technology marketing, partnering, setting up spin-off companies, etc.



129

In case of limited funding for provison of specialised EPServices – methodology for decision making (supplementary character)

2. SK CRIS database as an information resource • Register of projects (#10,512) SF EU-funded projects R&D state projects R&D stimuli projects ministries-funded projects APVV agency-funded projects scientific VEGA cultural KEGA projects • Register of organisations (#1,271) • Register of researchers (#18,178) • Records of R&D outcomes (#7,492) • Other information (infrastructure, services, awards)

Pre-requisites for parameters selection: • no additional information will be requested from R&D institutions (to avoid additional administrative burden) • use only databases administered by or licensed to the SCSTI • prime focus on parameters relating to technology transfer • two-level aspect (faculty/research institute and research team where no information is available on the former) • aim of the HE and R&D institution competence assessment is to provide complementary information for decision-making for funding technology transfer at public HE and R&D institutions Research Information Systems, 2nd April 2014, Bratislava



R&D institutional and/or team level Area

Group

1. Human

potential

Description

1.C Formal pre-requisites

- classification of researchers from aspect of research field, expertise, specialisation, research degrees, degrees in education, membership in national / international scientific organisations, awards, etc.

2.A Projects

- domestic and foreign research projects in various scientific fields

2. Cooperation 2.B Collaboration

3. R&D environment

3.A Infrastructure and services

- involvement of R&D team/institution in national or international collaboration - number of Slovak or foreign R&D institutions participating in a project, - international exchange of academics (in and out)



Fig. 2. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in biological & chemical sciences from perspective of R&D, innovation and technology transfer (2010)

Fig. 1. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in technical sciences from perspective of TU Košice-F. manufacturing technol. R&D, innovation and technology transfer (2010) TU Košice -F. electical eng. & infomatics SAS- Inst. infomatics 10 9 7 5 10 SAS-Ins. materials & machine mechanics 12 11 11 SAS-Inst. measurement sci. 73 SAS-Ints. geotechnics 13 SAS-Inst. electrical eng. 14 ŽU Žilina -F. mechanical engin. 14 SUT Bratislava -F. material technol. 48 ŽU Žilina-F. special technology 14 TU Košice -F. mechanical eng. 18

44

19 19

41

22 39

22 32 23

24

26 28

29

30

Four pie charts illustrating competence of Slovak publicly-funded universities (faculties) and institutes of the Slovak Academy of Sciences in R&D, innovation and technology transfer

- investment in research facilities, equipment, - specific services provided by R&D institutions


22

Example of use of SK CRIS data

22

22

SUT Bratislava-F. chemistry & food technol.

68

SAS-Inst. inorganic chemistry

27

SAS-Inst. molecular biology

28

SAS-Inst. polymers

67

SAS-Inst. construction & architecture TU Košice -F. metallurgy SUT Bratislava-F. electical eng. & infomatics ŽU Žilina-F. electrical eng. TU Zvolen-F. envi & manuf. technol. TU Zvolen-F. wood sci. & technol. SAS-Inst. materiasl res. TU Košice-F. civil eng. SUT Bratislava-F. civil eng. SUA Nitra-F. technology TU Košice-F. mining, ecol., process control... TU Košice-F. aeronautics ŽU Žilina-F. civil eng. SUT Bratislava-F. informatics & info technol. SUT Bratislava-F. architerture TrUAD Trenčín-F. special technol. SUT Bratislava-F. mechanical eng. TrUAD Trenčín -F. industr. technol. TrUAD Trenčín -F. mechatronics

31

SAS-Inst. genetics & plant biotechnol. SAS-Inst. chmistry CFF Nitra-F. natural sci.

32

45 37

MBU Banská Bystrica-F. natural sci. CU Bratislava-F. natural sci. PUPrešov-F. natural sci. & humanities

39

45 42

CMU Trnava-F. natural sci. PJŠU Košice-F. natural sci. CU Bratislava-F. pharmacy

130



Fig. 3. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in agricultural & veterinary sciences from perspective of R&D, innovation and technology transfer (2010)

Fig.4. Assessment (in %) of higher education institutes and institutes of the Slovak Academy of Sciences in mathematical sciences& physics from perspective of R&D, innovation and technology transfer (2010)

TU Zvolen-F. forestry

SAS- Inst. Physics

SAS-Inst. landscape ecology

28

74

28

15

SUA Nitra-F. agrobiology & food resources

30

SAS-Inst. Experimental physics

28

SAS-Inst. animal physiology

82 SAS-Geological inst.

31

SAS-Inst. forest ecology

33

69

35

CU Bratislava-F. mathem., phys. & informat.

SUA Nitra-F. biotechnology & food sci.

43

TU Zvolen-F. ecol. & environ. sci.

65

SAS-Mathamatical inst.

66 SAS-Geophysical inst.

SUA Nitra-F. horticulture & landscape eng.


Acknowledgement

Conclusions on the SK CRIS system  collects and maintains the most current data on R&D activities of Slovak HE and R&D institutions, whether private or publicly-funded,  amongst databases administered by the SCSTI, SK CRIS represents the most complete database (including historical data) on various aspects of R&D covering all publicly-funded, private and not-for-profit R&D institutions,  at the present stage, some data for assessment purposes have to be searched for and processed manually. However, this issue will be taken into consideration in future upgraded versions of the SK CRIS database. The plan is to generate final evaluation reports for either R&D institutions or teams automatically,  integration of other related databases with the SK CRIS will contribute to its huge potential for becoming a complete tool utilised for a variety of purposes,  corrective measures should be introduced to render the data supply procedure more efficient and complete and to motivate all HE and R&DIs to provide all information in compliance with legislative requirements.

Work of my colleagues on the preparation of assessment methodology is greatly appreciated:

Bilský Ľubomír Cvik Oleg Dušková Marta Hrčková Ľudmila Klimentová Eliška Králiková Eva Kravjar Július Kubiš Miroslav


Thank you very much for your attention

 Research Information Systems, 2nd April 2014, Bratislava

131

Kyseľová Katarína Mažári Daniel Molnárová Iveta Noskovič Jaroslav Števková Oľga Tlstovičová Jana Zendulková Danica

Informačné systémy o vede

Recommend Documents