Project

General

Profile

« Previous | Next » 

Revision 4068

bin/map: collision_suffix: Setting back to _alt to test if _merge caused the SpeciesLink slowdown. SpeciesLink contains a huge number of equivalent columns due to each DwC term being present with namespaces for all versions of the DwC schema, and these columns can be combined either using _alt or _merge. _merge is only useful if the values in different versions of the same DwC field are different, which is not likely the case.

View differences:

inputs/SALVIAS-CSV/test/import.organisms.xml.ref
100 100
                            </definedvalue>
101 101
                            <diameterbreastheight>$stem_dbh</diameterbreastheight>
102 102
                            <height>
103
                                <_merge>
103
                                <_alt>
104 104
                                    <0>$height_m</0>
105 105
                                    <1>$stem_height_m</1>
106
                                </_merge>
106
                                </_alt>
107 107
                            </height>
108 108
                            <heightfirstbranch>
109
                                <_merge>
109
                                <_alt>
110 110
                                    <0>$ht_first_branch_m</0>
111 111
                                    <1>$stem_height_first_branch_m</1>
112
                                </_merge>
112
                                </_alt>
113 113
                            </heightfirstbranch>
114 114
                            <stemtag>
115 115
                                <iscurrent>
inputs/SpeciesLink/test/import.specimens.xml.ref
7 7
                <4>
8 8
                    <_merge>
9 9
                        <1>
10
                            <_merge>
10
                            <_alt>
11 11
                                <0>$dwc_dwcore_InstitutionCode</0>
12 12
                                <1>$conceptual_darwin_2003_1_0_InstitutionCode</1>
13 13
                                <2>$dwc_terms_institutionCode</2>
14
                            </_merge>
14
                            </_alt>
15 15
                        </1>
16 16
                        <2>
17 17
                            <_merge>
18 18
                                <1>
19
                                    <_merge>
19
                                    <_alt>
20 20
                                        <0>$dwc_dwcore_CollectionCode</0>
21 21
                                        <1>$conceptual_darwin_2003_1_0_CollectionCode</1>
22 22
                                        <2>$dwc_terms_collectionCode</2>
23
                                    </_merge>
23
                                    </_alt>
24 24
                                </1>
25 25
                                <2>$dwc_terms_collectionID</2>
26 26
                            </_merge>
......
28 28
                        <3>
29 29
                            <_if name="if indirect voucher">
30 30
                                <else>
31
                                    <_merge>
31
                                    <_alt>
32 32
                                        <0>$dwc_dwcore_CatalogNumber</0>
33 33
                                        <1>$conceptual_darwin_2003_1_0_CatalogNumber</1>
34 34
                                        <2>$dwc_terms_catalogNumber</2>
35
                                    </_merge>
35
                                    </_alt>
36 36
                                </else>
37 37
                            </_if>
38 38
                        </3>
......
51 51
                            <_replace>
52 52
                                <\bca\.?></\bca\.?>
53 53
                                <value>
54
                                    <_merge>
54
                                    <_alt>
55 55
                                        <0>$conceptual_darwin_2003_1_0_MaximumElevation</0>
56 56
                                        <1>$dwc_dwcore_MaximumElevationInMeters</1>
57 57
                                        <2>$dwc_terms_maximumElevationInMeters</2>
58
                                    </_merge>
58
                                    </_alt>
59 59
                                </value>
60 60
                            </_replace>
61 61
                        </value>
......
72 72
                                    <_replace>
73 73
                                        <\bca\.?></\bca\.?>
74 74
                                        <value>
75
                                            <_merge>
75
                                            <_alt>
76 76
                                                <0>$conceptual_darwin_2003_1_0_MinimumElevation</0>
77 77
                                                <1>$dwc_dwcore_MinimumElevationInMeters</1>
78 78
                                                <2>$dwc_terms_minimumElevationInMeters</2>
79
                                            </_merge>
79
                                            </_alt>
80 80
                                        </value>
81 81
                                    </_replace>
82 82
                                </value>
......
99 99
                                    <_replace>
100 100
                                        <\bca\.?></\bca\.?>
101 101
                                        <value>
102
                                            <_merge>
102
                                            <_alt>
103 103
                                                <0>$conceptual_darwin_2003_1_0_MinimumElevation</0>
104 104
                                                <1>$dwc_dwcore_MinimumElevationInMeters</1>
105 105
                                                <2>$dwc_terms_minimumElevationInMeters</2>
106
                                            </_merge>
106
                                            </_alt>
107 107
                                        </value>
108 108
                                    </_replace>
109 109
                                </value>
......
122 122
                                    <_replace>
123 123
                                        <\bca\.?></\bca\.?>
124 124
                                        <value>
125
                                            <_merge>
125
                                            <_alt>
126 126
                                                <0>$conceptual_darwin_2003_1_0_MaximumElevation</0>
127 127
                                                <1>$dwc_dwcore_MaximumElevationInMeters</1>
128 128
                                                <2>$dwc_terms_maximumElevationInMeters</2>
129
                                            </_merge>
129
                                            </_alt>
130 130
                                        </value>
131 131
                                    </_replace>
132 132
                                </1>
......
136 136
                                            <_replace>
137 137
                                                <\bca\.?></\bca\.?>
138 138
                                                <value>
139
                                                    <_merge>
139
                                                    <_alt>
140 140
                                                        <0>$conceptual_darwin_2003_1_0_MinimumElevation</0>
141 141
                                                        <1>$dwc_dwcore_MinimumElevationInMeters</1>
142 142
                                                        <2>$dwc_terms_minimumElevationInMeters</2>
143
                                                    </_merge>
143
                                                    </_alt>
144 144
                                                </value>
145 145
                                            </_replace>
146 146
                                        </value>
......
171 171
                            <null>0</null>
172 172
                            <type>float</type>
173 173
                            <value>
174
                                <_merge>
174
                                <_alt>
175 175
                                    <0>$dwc_geospatial_DecimalLatitude</0>
176 176
                                    <1>$dwc_terms_decimalLatitude</1>
177
                                </_merge>
177
                                </_alt>
178 178
                            </value>
179 179
                        </_nullIf>
180 180
                    </1>
......
183 183
                            <null>0</null>
184 184
                            <type>float</type>
185 185
                            <value>
186
                                <_merge>
186
                                <_alt>
187 187
                                    <0>$conceptual_darwin_2003_1_0_Latitude</0>
188 188
                                    <1>$dwc_geospatial_VerbatimLatitude</1>
189 189
                                    <2>$dwc_terms_verbatimLatitude</2>
190
                                </_merge>
190
                                </_alt>
191 191
                            </value>
192 192
                        </_nullIf>
193 193
                    </2>
......
200 200
                            <null>0</null>
201 201
                            <type>float</type>
202 202
                            <value>
203
                                <_merge>
203
                                <_alt>
204 204
                                    <0>$dwc_geospatial_DecimalLongitude</0>
205 205
                                    <1>$dwc_terms_decimalLongitude</1>
206
                                </_merge>
206
                                </_alt>
207 207
                            </value>
208 208
                        </_nullIf>
209 209
                    </1>
......
212 212
                            <null>0</null>
213 213
                            <type>float</type>
214 214
                            <value>
215
                                <_merge>
215
                                <_alt>
216 216
                                    <0>$conceptual_darwin_2003_1_0_Longitude</0>
217 217
                                    <1>$dwc_geospatial_VerbatimLongitude</1>
218 218
                                    <2>$dwc_terms_verbatimLongitude</2>
219
                                </_merge>
219
                                </_alt>
220 220
                            </value>
221 221
                        </_nullIf>
222 222
                    </2>
......
230 230
                        <namedplace>
231 231
                            <rank>county</rank>
232 232
                            <placename>
233
                                <_merge>
233
                                <_alt>
234 234
                                    <0>$dwc_dwcore_County</0>
235 235
                                    <1>$conceptual_darwin_2003_1_0_County</1>
236 236
                                    <2>$dwc_terms_county</2>
237
                                </_merge>
237
                                </_alt>
238 238
                            </placename>
239 239
                            <parent_id>
240 240
                                <namedplace>
241 241
                                    <rank>stateProvince</rank>
242 242
                                    <placename>
243
                                        <_merge>
243
                                        <_alt>
244 244
                                            <0>$dwc_dwcore_StateProvince</0>
245 245
                                            <1>$conceptual_darwin_2003_1_0_StateProvince</1>
246 246
                                            <2>$dwc_terms_stateProvince</2>
247
                                        </_merge>
247
                                        </_alt>
248 248
                                    </placename>
249 249
                                    <parent_id>
250 250
                                        <namedplace>
251 251
                                            <rank>country</rank>
252 252
                                            <placename>
253
                                                <_merge>
253
                                                <_alt>
254 254
                                                    <0>$dwc_dwcore_Country</0>
255 255
                                                    <1>$conceptual_darwin_2003_1_0_Country</1>
256 256
                                                    <2>$dwc_terms_country</2>
257
                                                </_merge>
257
                                                </_alt>
258 258
                                            </placename>
259 259
                                            <parent_id>
260 260
                                                <namedplace>
261 261
                                                    <rank>continent</rank>
262 262
                                                    <placename>
263
                                                        <_merge>
263
                                                        <_alt>
264 264
                                                            <0>$dwc_dwcore_Continent</0>
265 265
                                                            <1>$conceptual_darwin_2003_1_0_ContinentOcean</1>
266 266
                                                            <2>$dwc_terms_continent</2>
267
                                                        </_merge>
267
                                                        </_alt>
268 268
                                                    </placename>
269 269
                                                </namedplace>
270 270
                                            </parent_id>
......
279 279
        </locationdetermination>
280 280
        <locationevent>
281 281
            <authoreventcode>
282
                <_merge>
282
                <_alt>
283 283
                    <0>$dwc_curatorial_FieldNumber</0>
284 284
                    <1>$conceptual_darwin_2003_1_0_FieldNumber</1>
285 285
                    <2>$dwc_terms_fieldNumber</2>
286
                </_merge>
286
                </_alt>
287 287
            </authoreventcode>
288 288
            <obsenddate>
289 289
                <_date>
......
383 383
                        </_date>
384 384
                    </collectiondate>
385 385
                    <count>
386
                        <_merge>
386
                        <_alt>
387 387
                            <0>$dwc_curatorial_IndividualCount</0>
388 388
                            <1>$conceptual_darwin_2003_1_0_IndividualCount</1>
389 389
                            <2>$dwc_terms_individualCount</2>
390
                        </_merge>
390
                        </_alt>
391 391
                    </count>
392 392
                    <notes>$conceptual_darwin_2003_1_0_Notes</notes>
393 393
                    <plantobservation>
394 394
                        <authorplantcode>
395 395
                            <_alt>
396 396
                                <1>
397
                                    <_merge>
397
                                    <_alt>
398 398
                                        <0>$dwc_curatorial_CollectorNumber</0>
399 399
                                        <1>$conceptual_darwin_2003_1_0_CollectorNumber</1>
400
                                    </_merge>
400
                                    </_alt>
401 401
                                </1>
402 402
                                <2>$dwc_terms_recordNumber</2>
403 403
                            </_alt>
......
410 410
                                </userdefined>
411 411
                            </userdefined_id>
412 412
                            <definedvalue>
413
                                <_merge>
413
                                <_alt>
414 414
                                    <0>$dwc_dwcore_Sex</0>
415 415
                                    <1>$conceptual_darwin_2003_1_0_Sex</1>
416 416
                                    <2>$dwc_terms_sex</2>
417
                                </_merge>
417
                                </_alt>
418 418
                            </definedvalue>
419 419
                        </definedvalue>
420 420
                        <sourceaccessioncode>$dwc_dwcore_GlobalUniqueIdentifier</sourceaccessioncode>
......
422 422
                            <catalognumber_dwc>
423 423
                                <_if name="if indirect voucher">
424 424
                                    <else>
425
                                        <_merge>
425
                                        <_alt>
426 426
                                            <0>$dwc_dwcore_CatalogNumber</0>
427 427
                                            <1>$conceptual_darwin_2003_1_0_CatalogNumber</1>
428 428
                                            <2>$dwc_terms_catalogNumber</2>
429
                                        </_merge>
429
                                        </_alt>
430 430
                                    </else>
431 431
                                </_if>
432 432
                            </catalognumber_dwc>
433 433
                            <collectioncode_dwc>
434 434
                                <_merge>
435 435
                                    <1>
436
                                        <_merge>
436
                                        <_alt>
437 437
                                            <0>$dwc_dwcore_CollectionCode</0>
438 438
                                            <1>$conceptual_darwin_2003_1_0_CollectionCode</1>
439 439
                                            <2>$dwc_terms_collectionCode</2>
440
                                        </_merge>
440
                                        </_alt>
441 441
                                    </1>
442 442
                                    <2>$dwc_terms_collectionID</2>
443 443
                                </_merge>
......
445 445
                            <collectionnumber>
446 446
                                <_alt>
447 447
                                    <1>
448
                                        <_merge>
448
                                        <_alt>
449 449
                                            <0>$dwc_curatorial_CollectorNumber</0>
450 450
                                            <1>$conceptual_darwin_2003_1_0_CollectorNumber</1>
451
                                        </_merge>
451
                                        </_alt>
452 452
                                    </1>
453 453
                                    <2>$dwc_terms_recordNumber</2>
454 454
                                </_alt>
......
456 456
                            <institution_id>
457 457
                                <party>
458 458
                                    <organizationname>
459
                                        <_merge>
459
                                        <_alt>
460 460
                                            <0>$dwc_dwcore_InstitutionCode</0>
461 461
                                            <1>$conceptual_darwin_2003_1_0_InstitutionCode</1>
462 462
                                            <2>$dwc_terms_institutionCode</2>
463
                                        </_merge>
463
                                        </_alt>
464 464
                                    </organizationname>
465 465
                                </party>
466 466
                            </institution_id>
......
474 474
                        <2>
475 475
                            <_if name="if indirect voucher">
476 476
                                <else>
477
                                    <_merge>
477
                                    <_alt>
478 478
                                        <0>$dwc_dwcore_CatalogNumber</0>
479 479
                                        <1>$conceptual_darwin_2003_1_0_CatalogNumber</1>
480 480
                                        <2>$dwc_terms_catalogNumber</2>
481
                                    </_merge>
481
                                    </_alt>
482 482
                                </else>
483 483
                            </_if>
484 484
                        </2>
485 485
                        <3>
486 486
                            <_alt>
487 487
                                <1>
488
                                    <_merge>
488
                                    <_alt>
489 489
                                        <0>$dwc_curatorial_CollectorNumber</0>
490 490
                                        <1>$conceptual_darwin_2003_1_0_CollectorNumber</1>
491
                                    </_merge>
491
                                    </_alt>
492 492
                                </1>
493 493
                                <2>$dwc_terms_recordNumber</2>
494 494
                            </_alt>
......
503 503
                            <givenname>
504 504
                                <_namePart>
505 505
                                    <first>
506
                                        <_merge>
506
                                        <_alt>
507 507
                                            <0>$dwc_curatorial_IdentifiedBy</0>
508 508
                                            <1>$conceptual_darwin_2003_1_0_IdentifiedBy</1>
509 509
                                            <2>$dwc_terms_identifiedBy</2>
510
                                        </_merge>
510
                                        </_alt>
511 511
                                    </first>
512 512
                                </_namePart>
513 513
                            </givenname>
514 514
                            <middlename>
515 515
                                <_namePart>
516 516
                                    <middle>
517
                                        <_merge>
517
                                        <_alt>
518 518
                                            <0>$dwc_curatorial_IdentifiedBy</0>
519 519
                                            <1>$conceptual_darwin_2003_1_0_IdentifiedBy</1>
520 520
                                            <2>$dwc_terms_identifiedBy</2>
521
                                        </_merge>
521
                                        </_alt>
522 522
                                    </middle>
523 523
                                </_namePart>
524 524
                            </middlename>
525 525
                            <surname>
526 526
                                <_namePart>
527 527
                                    <last>
528
                                        <_merge>
528
                                        <_alt>
529 529
                                            <0>$dwc_curatorial_IdentifiedBy</0>
530 530
                                            <1>$conceptual_darwin_2003_1_0_IdentifiedBy</1>
531 531
                                            <2>$dwc_terms_identifiedBy</2>
532
                                        </_merge>
532
                                        </_alt>
533 533
                                    </last>
534 534
                                </_namePart>
535 535
                            </surname>
......
545 545
                                        <plantname>
546 546
                                            <rank>binomial</rank>
547 547
                                            <plantname>
548
                                                <_merge>
548
                                                <_alt>
549 549
                                                    <0>$dwc_dwcore_ScientificName</0>
550 550
                                                    <1>$conceptual_darwin_2003_1_0_ScientificName</1>
551 551
                                                    <2>$dwc_terms_scientificName</2>
552
                                                </_merge>
552
                                                </_alt>
553 553
                                            </plantname>
554 554
                                            <parent_id>
555 555
                                                <plantname>
556 556
                                                    <rank>authority</rank>
557 557
                                                    <plantname>
558
                                                        <_merge>
558
                                                        <_alt>
559 559
                                                            <0>$dwc_dwcore_AuthorYearOfScientificName</0>
560 560
                                                            <1>$conceptual_darwin_2003_1_0_ScientificNameAuthor</1>
561 561
                                                            <2>$dwc_terms_scientificNameAuthorship</2>
562
                                                        </_merge>
562
                                                        </_alt>
563 563
                                                    </plantname>
564 564
                                                    <parent_id>
565 565
                                                        <plantname>
566 566
                                                            <rank>subspecies</rank>
567 567
                                                            <plantname>
568
                                                                <_merge>
568
                                                                <_alt>
569 569
                                                                    <0>$dwc_dwcore_InfraspecificEpithet</0>
570 570
                                                                    <1>$conceptual_darwin_2003_1_0_Subspecies</1>
571 571
                                                                    <2>$dwc_terms_infraspecificEpithet</2>
572
                                                                </_merge>
572
                                                                </_alt>
573 573
                                                            </plantname>
574 574
                                                            <parent_id>
575 575
                                                                <plantname>
576 576
                                                                    <rank>species</rank>
577 577
                                                                    <plantname>
578
                                                                        <_merge>
578
                                                                        <_alt>
579 579
                                                                            <0>$conceptual_darwin_2003_1_0_Species</0>
580 580
                                                                            <1>$dwc_dwcore_SpecificEpithet</1>
581 581
                                                                            <2>$dwc_terms_specificEpithet</2>
582
                                                                        </_merge>
582
                                                                        </_alt>
583 583
                                                                    </plantname>
584 584
                                                                    <parent_id>
585 585
                                                                        <plantname>
586 586
                                                                            <rank>genus</rank>
587 587
                                                                            <plantname>
588
                                                                                <_merge>
588
                                                                                <_alt>
589 589
                                                                                    <0>$dwc_dwcore_Genus</0>
590 590
                                                                                    <1>$conceptual_darwin_2003_1_0_Genus</1>
591 591
                                                                                    <2>$dwc_terms_genus</2>
592
                                                                                </_merge>
592
                                                                                </_alt>
593 593
                                                                            </plantname>
594 594
                                                                            <parent_id>
595 595
                                                                                <plantname>
596 596
                                                                                    <rank>family</rank>
597 597
                                                                                    <plantname>
598
                                                                                        <_merge>
598
                                                                                        <_alt>
599 599
                                                                                            <0>$dwc_dwcore_Family</0>
600 600
                                                                                            <1>$conceptual_darwin_2003_1_0_Family</1>
601 601
                                                                                            <2>$dwc_terms_family</2>
602
                                                                                        </_merge>
602
                                                                                        </_alt>
603 603
                                                                                    </plantname>
604 604
                                                                                    <parent_id>
605 605
                                                                                        <plantname>
606 606
                                                                                            <rank>order</rank>
607 607
                                                                                            <plantname>
608
                                                                                                <_merge>
608
                                                                                                <_alt>
609 609
                                                                                                    <0>$dwc_dwcore_Order</0>
610 610
                                                                                                    <1>$conceptual_darwin_2003_1_0_Order</1>
611 611
                                                                                                    <2>$dwc_terms_order</2>
612
                                                                                                </_merge>
612
                                                                                                </_alt>
613 613
                                                                                            </plantname>
614 614
                                                                                            <parent_id>
615 615
                                                                                                <plantname>
616 616
                                                                                                    <rank>class</rank>
617 617
                                                                                                    <plantname>
618
                                                                                                        <_merge>
618
                                                                                                        <_alt>
619 619
                                                                                                            <0>$dwc_dwcore_Class</0>
620 620
                                                                                                            <1>$conceptual_darwin_2003_1_0_Class</1>
621 621
                                                                                                            <2>$dwc_terms_class</2>
622
                                                                                                        </_merge>
622
                                                                                                        </_alt>
623 623
                                                                                                    </plantname>
624 624
                                                                                                    <parent_id>
625 625
                                                                                                        <plantname>
626 626
                                                                                                            <rank>subkingdom</rank>
627 627
                                                                                                            <plantname>
628
                                                                                                                <_merge>
628
                                                                                                                <_alt>
629 629
                                                                                                                    <0>$dwc_dwcore_Phylum</0>
630 630
                                                                                                                    <1>$conceptual_darwin_2003_1_0_Phylum</1>
631 631
                                                                                                                    <2>$dwc_terms_phylum</2>
632
                                                                                                                </_merge>
632
                                                                                                                </_alt>
633 633
                                                                                                            </plantname>
634 634
                                                                                                            <parent_id>
635 635
                                                                                                                <plantname>
636 636
                                                                                                                    <rank>kingdom</rank>
637 637
                                                                                                                    <plantname>
638
                                                                                                                        <_merge>
638
                                                                                                                        <_alt>
639 639
                                                                                                                            <0>$dwc_dwcore_Kingdom</0>
640 640
                                                                                                                            <1>$conceptual_darwin_2003_1_0_Kingdom</1>
641 641
                                                                                                                            <2>$dwc_terms_kingdom</2>
642
                                                                                                                        </_merge>
642
                                                                                                                        </_alt>
643 643
                                                                                                                    </plantname>
644 644
                                                                                                                </plantname>
645 645
                                                                                                            </parent_id>
......
706 706
                    <notes>$dwc_dwcore_Remarks</notes>
707 707
                </taxondetermination>
708 708
                <verbatimcollectorname>
709
                    <_merge>
709
                    <_alt>
710 710
                        <0>$dwc_dwcore_Collector</0>
711 711
                        <1>$conceptual_darwin_2003_1_0_Collector</1>
712 712
                        <2>$dwc_terms_recordedBy</2>
713
                    </_merge>
713
                    </_alt>
714 714
                </verbatimcollectorname>
715 715
            </taxonoccurrence>
716 716
            <waterdepth>
......
724 724
                                <_replace>
725 725
                                    <\bca\.?></\bca\.?>
726 726
                                    <value>
727
                                        <_merge>
727
                                        <_alt>
728 728
                                            <0>$conceptual_darwin_2003_1_0_MaximumDepth</0>
729 729
                                            <1>$dwc_dwcore_MaximumDepthInMeters</1>
730 730
                                            <2>$dwc_terms_maximumDepthInMeters</2>
731
                                        </_merge>
731
                                        </_alt>
732 732
                                    </value>
733 733
                                </_replace>
734 734
                            </value>
......
743 743
                                <_replace>
744 744
                                    <\bca\.?></\bca\.?>
745 745
                                    <value>
746
                                        <_merge>
746
                                        <_alt>
747 747
                                            <0>$conceptual_darwin_2003_1_0_MinimumDepth</0>
748 748
                                            <1>$dwc_dwcore_MinimumDepthInMeters</1>
749 749
                                            <2>$dwc_terms_minimumDepthInMeters</2>
750
                                        </_merge>
750
                                        </_alt>
751 751
                                    </value>
752 752
                                </_replace>
753 753
                            </value>
......
757 757
            </waterdepth>
758 758
        </locationevent>
759 759
        <locationnarrative>
760
            <_merge>
760
            <_alt>
761 761
                <0>$dwc_dwcore_Locality</0>
762 762
                <1>$conceptual_darwin_2003_1_0_Locality</1>
763 763
                <2>$dwc_terms_locality</2>
764
            </_merge>
764
            </_alt>
765 765
        </locationnarrative>
766 766
    </location>
767 767
</VegBIEN>
bin/map
36 36
import xml_func
37 37
import xml_parse
38 38

  
39
collision_suffix = '/_merge/'
39
collision_suffix = '/_alt/'
40 40

  
41 41
def get_with_prefix(map_, prefixes, key):
42 42
    '''Gets all entries for the given key with any of the given prefixes

Also available in: Unified diff