Difference between revisions of "Euclid mock production v1.9.2"

From Public PIC Wiki
Jump to navigation Jump to search
 
(5 intermediate revisions by 2 users not shown)
Line 1: Line 1:
−
    CREATE EXTERNAL TABLE `flagship_1_9_2`(
+
CREATE EXTERNAL TABLE `flagship_1_9_2`(
 
   `kind` bigint,  
 
   `kind` bigint,  
 
   `luminosity_r01` double,  
 
   `luminosity_r01` double,  
Line 227: Line 227:
 
   `halo_id` bigint,  
 
   `halo_id` bigint,  
 
   `galaxy_id` bigint)
 
   `galaxy_id` bigint)
−
    ROW FORMAT SERDE  
+
ROW FORMAT SERDE  
−
    'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'  
+
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'  
−
    STORED AS INPUTFORMAT  
+
STORED AS INPUTFORMAT  
−
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'  
+
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'  
−
    OUTPUTFORMAT  
+
OUTPUTFORMAT  
−
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
+
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
−
    ;
+
;
  
−
 
+
CREATE TABLE flagship_mock_1_9_2_c(
−
 
 
−
    CREATE TABLE flagship_mock_1_9_2_c(
 
 
   `kind` bigint,  
 
   `kind` bigint,  
 
   `luminosity_r01` double,  
 
   `luminosity_r01` double,  
Line 447: Line 445:
 
   `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',  
 
   `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',  
 
   `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',  
 
   `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',  
−
   `median_major_axis` double COMMENT 'median semi-major axis exponential scalelength (arcsec), rd in Miller et al. paper',  
+
   `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)',  
 
   `scale_length` double COMMENT 'disc and bulge scalelength prior',  
 
   `scale_length` double COMMENT 'disc and bulge scalelength prior',  
 
   `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)',  
 
   `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)',  
−
   `disk_scalelength` double COMMENT 'disk_length',  
+
   `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)',  
−
   `disk_nsersic` double COMMENT '1',  
+
   `disk_nsersic` double COMMENT 'Sersic index of the disk component',  
−
   `disk_r50` double COMMENT 'disk_r50 = disk_length * 1.678',  
+
   `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678',  
−
   `bulge_r50` double COMMENT 'bulge_r50 = bulge_length (r50 or r_eff)',  
+
   `bulge_r50` double COMMENT 'half light radius of the bulge',  
−
   `bulge_nsersic` double COMMENT 'From 1 to 4',  
+
   `bulge_nsersic` double COMMENT 'Sersic index of the bulge component',  
−
   `disk_ellipticity` double COMMENT 'disk axis ratio = (1.-disk_ellipticity)/(1.+ disk_ellipticity)',  
+
   `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)',  
−
   `bulge_ellipticity` double COMMENT 'bulge axis ratio = (1.-bulge_ellipticity)/(1.+ bulge_ellipticity)',  
+
   `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)',  
−
   `disk_axis_ratio` double COMMENT 'disk projected axis ratio (b/a)',  
+
   `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',  
−
   `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio (b/a)',
+
   `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 
   `disk_inclination_angle` double COMMENT '',  
 
   `disk_inclination_angle` double COMMENT '',  
 
   `bulge_inclination_angle` double COMMENT '',  
 
   `bulge_inclination_angle` double COMMENT '',  
Line 465: Line 463:
 
   `halo_id` bigint,  
 
   `halo_id` bigint,  
 
   `galaxy_id` bigint
 
   `galaxy_id` bigint
−
    )
+
)
−
    CLUSTERED BY (  
+
CLUSTERED BY (  
−
    halo_id,  
+
  halo_id,  
−
    galaxy_id)  
+
  galaxy_id
−
    INTO 128 BUCKETS
+
)  
−
    ROW FORMAT SERDE  
+
INTO 128 BUCKETS
−
    'org.apache.hadoop.hive.ql.io.orc.OrcSerde'  
+
ROW FORMAT SERDE  
−
    STORED AS INPUTFORMAT  
+
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'  
−
    'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'  
+
STORED AS INPUTFORMAT  
−
    OUTPUTFORMAT  
+
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'  
−
    'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
+
OUTPUTFORMAT  
−
    ;
+
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
 +
;
 +
 
 +
INSERT OVERWRITE TABLE cosmohub.flagship_mock_1_9_2_c
 +
SELECT * FROM tallada.flagship_1_9_2;
 +
 
 +
ANALYZE TABLE cosmohub.flagship_mock_1_9_2_c COMPUTE STATISTICS FOR COLUMNS;
 +
 
 +
CREATE TABLE tallada.flagship_mock_1_9_2_c2(
 +
  `kind` bigint,
 +
  `luminosity_r01` double,
 +
  `halo_x` double,
 +
  `halo_y` double,
 +
  `halo_z` double,
 +
  `halo_vx` double,
 +
  `halo_vy` double,
 +
  `halo_vz` double,
 +
  `halo_r` double,
 +
  `true_redshift_halo` double,
 +
  `halo_lm` double,
 +
  `halo_n_sats` bigint,
 +
  `n_gals` bigint,
 +
  `abs_mag_r01` double,
 +
  `abs_mag_r01_evolved` double,
 +
  `luminosity_r01_evolved` double,
 +
  `gr_restframe` double,
 +
  `color_kind` int,
 +
  `x_gal` double,
 +
  `y_gal` double,
 +
  `z_gal` double,
 +
  `r_gal` double,
 +
  `true_redshift_gal` double,
 +
  `ra_gal` double,
 +
  `dec_gal` double,
 +
  `hpix_29_nest` bigint,
 +
  `hpix_13_nest` bigint,
 +
  `vx_gal` double,
 +
  `vy_gal` double,
 +
  `vz_gal` double,
 +
  `vrad_gal` double,
 +
  `delta_r` double,
 +
  `observed_redshift_gal` double,
 +
  `sed_ke` double,
 +
  `gr_cosmos` double,
 +
  `sed_cosmos` double,
 +
  `ext_curve_cosmos` bigint,
 +
  `ebv_cosmos` double,
 +
  `is_within_cosmos` boolean,
 +
  `cosmos_distance` double,
 +
  `abs_mag_uv_dereddened` double,
 +
  `log_ml_r01` double,
 +
  `log_stellar_mass` double,
 +
  `metallicity` double,
 +
  `log_sfr` double,
 +
  `logf_halpha_ext` double,
 +
  `logf_halpha` double,
 +
  `halpha_scatter` double,
 +
  `loglum_halpha` double,
 +
  `loglum_halpha_ext` double,
 +
  `logf_dummy` double,
 +
  `z_dummy` double,
 +
  `logf_halpha_model1_ext` double,
 +
  `logf_halpha_model1` double,
 +
  `loglum_halpha_model1_ext` double,
 +
  `loglum_halpha_model1` double,
 +
  `logf_halpha_model3_ext` double,
 +
  `logf_halpha_model3` double,
 +
  `loglum_halpha_model3_ext` double,
 +
  `loglum_halpha_model3` double,
 +
  `logf_hbeta_model1_ext` double,
 +
  `logf_hbeta_model1` double,
 +
  `logf_o2_model1_ext` double,
 +
  `logf_o2_model1` double,
 +
  `logf_n2_model1_ext` double,
 +
  `logf_n2_model1` double,
 +
  `logf_o3_model1_ext` double,
 +
  `logf_o3_model1` double,
 +
  `logf_s2_model1_ext` double,
 +
  `logf_s2_model1` double,
 +
  `logf_hbeta_model3_ext` double,
 +
  `logf_hbeta_model3` double,
 +
  `logf_o2_model3_ext` double,
 +
  `logf_o2_model3` double,
 +
  `logf_n2_model3_ext` double,
 +
  `logf_n2_model3` double,
 +
  `logf_o3_model3_ext` double,
 +
  `logf_o3_model3` double,
 +
  `logf_s2_model3_ext` double,
 +
  `logf_s2_model3` double,
 +
  `blanco_decam_g` double,
 +
  `blanco_decam_i` double,
 +
  `blanco_decam_r` double,
 +
  `blanco_decam_z` double,
 +
  `gaia_bp` double,
 +
  `gaia_g` double,
 +
  `gaia_rp` double,
 +
  `subaru_hsc_z` double,
 +
  `jst_jpcam_g` double,
 +
  `kids_g` double,
 +
  `kids_i` double,
 +
  `kids_r` double,
 +
  `kids_u` double,
 +
  `lsst_g` double,
 +
  `lsst_i` double,
 +
  `lsst_r` double,
 +
  `lsst_u` double,
 +
  `lsst_y` double,
 +
  `lsst_z` double,
 +
  `cfht_megacam_r` double,
 +
  `cfht_megacam_u` double,
 +
  `pan_starrs_i` double,
 +
  `pan_starrs_z` double,
 +
  `euclid_nisp_h` double,
 +
  `euclid_nisp_j` double,
 +
  `euclid_nisp_y` double,
 +
  `euclid_vis` double,
 +
  `2mass_h` double,
 +
  `2mass_j` double,
 +
  `2mass_ks` double,
 +
  `sdss_r01` double,
 +
  `l_gal` double,
 +
  `b_gal` double,
 +
  `mw_extinction` double,
 +
  `2mass_h_odonnell_ext` double,
 +
  `2mass_j_odonnell_ext` double,
 +
  `2mass_ks_odonnell_ext` double,
 +
  `blanco_decam_g_odonnell_ext` double,
 +
  `blanco_decam_i_odonnell_ext` double,
 +
  `blanco_decam_r_odonnell_ext` double,
 +
  `blanco_decam_z_odonnell_ext` double,
 +
  `cfht_megacam_r_odonnell_ext` double,
 +
  `cfht_megacam_u_odonnell_ext` double,
 +
  `euclid_nisp_h_odonnell_ext` double,
 +
  `euclid_nisp_j_odonnell_ext` double,
 +
  `euclid_nisp_y_odonnell_ext` double,
 +
  `euclid_vis_odonnell_ext` double,
 +
  `gaia_bp_odonnell_ext` double,
 +
  `gaia_g_odonnell_ext` double,
 +
  `gaia_rp_odonnell_ext` double,
 +
  `jst_jpcam_g_odonnell_ext` double,
 +
  `kids_g_odonnell_ext` double,
 +
  `kids_i_odonnell_ext` double,
 +
  `kids_r_odonnell_ext` double,
 +
  `kids_u_odonnell_ext` double,
 +
  `lsst_g_odonnell_ext` double,
 +
  `lsst_i_odonnell_ext` double,
 +
  `lsst_r_odonnell_ext` double,
 +
  `lsst_u_odonnell_ext` double,
 +
  `lsst_y_odonnell_ext` double,
 +
  `lsst_z_odonnell_ext` double,
 +
  `pan_starrs_i_odonnell_ext` double,
 +
  `pan_starrs_z_odonnell_ext` double,
 +
  `sdss_r01_odonnell_ext` double,
 +
  `subaru_hsc_z_odonnell_ext` double,
 +
  `blanco_decam_g_el_model1_odonnell_ext` double,
 +
  `blanco_decam_g_el_model3_odonnell_ext` double,
 +
  `blanco_decam_i_el_model1_odonnell_ext` double,
 +
  `blanco_decam_i_el_model3_odonnell_ext` double,
 +
  `blanco_decam_r_el_model1_odonnell_ext` double,
 +
  `blanco_decam_r_el_model3_odonnell_ext` double,
 +
  `blanco_decam_z_el_model1_odonnell_ext` double,
 +
  `blanco_decam_z_el_model3_odonnell_ext` double,
 +
  `gaia_bp_el_model1_odonnell_ext` double,
 +
  `gaia_bp_el_model3_odonnell_ext` double,
 +
  `gaia_g_el_model1_odonnell_ext` double,
 +
  `gaia_g_el_model3_odonnell_ext` double,
 +
  `gaia_rp_el_model1_odonnell_ext` double,
 +
  `gaia_rp_el_model3_odonnell_ext` double,
 +
  `subaru_hsc_z_el_model1_odonnell_ext` double,
 +
  `subaru_hsc_z_el_model3_odonnell_ext` double,
 +
  `jst_jpcam_g_el_model1_odonnell_ext` double,
 +
  `jst_jpcam_g_el_model3_odonnell_ext` double,
 +
  `kids_g_el_model1_odonnell_ext` double,
 +
  `kids_g_el_model3_odonnell_ext` double,
 +
  `kids_i_el_model1_odonnell_ext` double,
 +
  `kids_i_el_model3_odonnell_ext` double,
 +
  `kids_r_el_model1_odonnell_ext` double,
 +
  `kids_r_el_model3_odonnell_ext` double,
 +
  `kids_u_el_model1_odonnell_ext` double,
 +
  `kids_u_el_model3_odonnell_ext` double,
 +
  `lsst_g_el_model1_odonnell_ext` double,
 +
  `lsst_g_el_model3_odonnell_ext` double,
 +
  `lsst_i_el_model1_odonnell_ext` double,
 +
  `lsst_i_el_model3_odonnell_ext` double,
 +
  `lsst_r_el_model1_odonnell_ext` double,
 +
  `lsst_r_el_model3_odonnell_ext` double,
 +
  `lsst_u_el_model1_odonnell_ext` double,
 +
  `lsst_u_el_model3_odonnell_ext` double,
 +
  `lsst_y_el_model1_odonnell_ext` double,
 +
  `lsst_y_el_model3_odonnell_ext` double,
 +
  `lsst_z_el_model1_odonnell_ext` double,
 +
  `lsst_z_el_model3_odonnell_ext` double,
 +
  `cfht_megacam_r_el_model1_odonnell_ext` double,
 +
  `cfht_megacam_r_el_model3_odonnell_ext` double,
 +
  `cfht_megacam_u_el_model1_odonnell_ext` double,
 +
  `cfht_megacam_u_el_model3_odonnell_ext` double,
 +
  `pan_starrs_i_el_model1_odonnell_ext` double,
 +
  `pan_starrs_i_el_model3_odonnell_ext` double,
 +
  `pan_starrs_z_el_model1_odonnell_ext` double,
 +
  `pan_starrs_z_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_h_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_h_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_j_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_j_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_y_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_y_el_model3_odonnell_ext` double,
 +
  `euclid_vis_el_model1_odonnell_ext` double,
 +
  `euclid_vis_el_model3_odonnell_ext` double,
 +
  `2mass_h_el_model1_odonnell_ext` double,
 +
  `2mass_h_el_model3_odonnell_ext` double,
 +
  `2mass_j_el_model1_odonnell_ext` double,
 +
  `2mass_j_el_model3_odonnell_ext` double,
 +
  `2mass_ks_el_model1_odonnell_ext` double,
 +
  `2mass_ks_el_model3_odonnell_ext` double,
 +
  `sdss_r01_el_model1_odonnell_ext` double,
 +
  `sdss_r01_el_model3_odonnell_ext` double,
 +
  `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)',
 +
  `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',
 +
  `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',
 +
  `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)',
 +
  `scale_length` double COMMENT 'disc and bulge scalelength prior',
 +
  `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)',
 +
  `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)',
 +
  `disk_nsersic` double COMMENT 'Sersic index of the disk component',
 +
  `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678',
 +
  `bulge_r50` double COMMENT 'half light radius of the bulge',
 +
  `bulge_nsersic` double COMMENT 'Sersic index of the bulge component',
 +
  `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)',
 +
  `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)',
 +
  `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 +
  `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 +
  `disk_inclination_angle` double COMMENT '',
 +
  `bulge_inclination_angle` double COMMENT '',
 +
  `random_index` double,
 +
  `halo_id` bigint,
 +
  `galaxy_id` bigint
 +
)
 +
PARTITIONED BY (
 +
  `step` smallint
 +
)
 +
CLUSTERED BY (
 +
  hpix_13_nest
 +
)
 +
SORTED BY (
 +
  hpix_13_nest ASC
 +
)
 +
INTO 128 BUCKETS
 +
STORED AS ORC
 +
;
 +
 
 +
INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_c2
 +
SELECT
 +
kind, luminosity_r01, halo_x, halo_y, halo_z, halo_vx, halo_vy, halo_vz, halo_r, true_redshift_halo, halo_lm, halo_n_sats, n_gals,
 +
abs_mag_r01, abs_mag_r01_evolved, luminosity_r01_evolved, gr_restframe, color_kind, x_gal, y_gal, z_gal, r_gal, true_redshift_gal,
 +
ra_gal, dec_gal, hpix_nest, SHIFTRIGHT(hpix_nest, (29-13)*2), vx_gal, vy_gal, vz_gal, vrad_gal, delta_r, observed_redshift_gal, sed_ke,
 +
gr_cosmos, sed_cosmos, ext_curve_cosmos, ebv_cosmos, is_within_cosmos, cosmos_distance, abs_mag_uv_dereddened, log_ml_r01,
 +
log_stellar_mass, metallicity, log_sfr, logf_halpha_ext, logf_halpha, halpha_scatter, loglum_halpha, loglum_halpha_ext, logf_dummy,
 +
z_dummy, logf_halpha_model1_ext, logf_halpha_model1, loglum_halpha_model1_ext, loglum_halpha_model1, logf_halpha_model3_ext,
 +
logf_halpha_model3, loglum_halpha_model3_ext, loglum_halpha_model3, logf_hbeta_model1_ext, logf_hbeta_model1, logf_o2_model1_ext,
 +
logf_o2_model1, logf_n2_model1_ext, logf_n2_model1, logf_o3_model1_ext, logf_o3_model1, logf_s2_model1_ext, logf_s2_model1,
 +
logf_hbeta_model3_ext, logf_hbeta_model3, logf_o2_model3_ext, logf_o2_model3, logf_n2_model3_ext, logf_n2_model3, logf_o3_model3_ext,
 +
logf_o3_model3, logf_s2_model3_ext, logf_s2_model3, blanco_decam_g, blanco_decam_i, blanco_decam_r, blanco_decam_z, gaia_bp, gaia_g,
 +
gaia_rp, subaru_hsc_z, jst_jpcam_g, kids_g, kids_i, kids_r, kids_u, lsst_g, lsst_i, lsst_r, lsst_u, lsst_y, lsst_z, cfht_megacam_r,
 +
cfht_megacam_u, pan_starrs_i, pan_starrs_z, euclid_nisp_h, euclid_nisp_j, euclid_nisp_y, euclid_vis, 2mass_h, 2mass_j, 2mass_ks,
 +
sdss_r01, l_gal, b_gal, mw_extinction, 2mass_h_odonnell_ext, 2mass_j_odonnell_ext, 2mass_ks_odonnell_ext, blanco_decam_g_odonnell_ext,
 +
blanco_decam_i_odonnell_ext, blanco_decam_r_odonnell_ext, blanco_decam_z_odonnell_ext, cfht_megacam_r_odonnell_ext,
 +
cfht_megacam_u_odonnell_ext, euclid_nisp_h_odonnell_ext, euclid_nisp_j_odonnell_ext, euclid_nisp_y_odonnell_ext, euclid_vis_odonnell_ext,
 +
gaia_bp_odonnell_ext, gaia_g_odonnell_ext, gaia_rp_odonnell_ext, jst_jpcam_g_odonnell_ext, kids_g_odonnell_ext, kids_i_odonnell_ext,
 +
kids_r_odonnell_ext, kids_u_odonnell_ext, lsst_g_odonnell_ext, lsst_i_odonnell_ext, lsst_r_odonnell_ext, lsst_u_odonnell_ext,
 +
lsst_y_odonnell_ext, lsst_z_odonnell_ext, pan_starrs_i_odonnell_ext, pan_starrs_z_odonnell_ext, sdss_r01_odonnell_ext,
 +
subaru_hsc_z_odonnell_ext, blanco_decam_g_el_model1_odonnell_ext, blanco_decam_g_el_model3_odonnell_ext,
 +
blanco_decam_i_el_model1_odonnell_ext, blanco_decam_i_el_model3_odonnell_ext, blanco_decam_r_el_model1_odonnell_ext,
 +
blanco_decam_r_el_model3_odonnell_ext, blanco_decam_z_el_model1_odonnell_ext, blanco_decam_z_el_model3_odonnell_ext,
 +
gaia_bp_el_model1_odonnell_ext, gaia_bp_el_model3_odonnell_ext, gaia_g_el_model1_odonnell_ext, gaia_g_el_model3_odonnell_ext,
 +
gaia_rp_el_model1_odonnell_ext, gaia_rp_el_model3_odonnell_ext, subaru_hsc_z_el_model1_odonnell_ext, subaru_hsc_z_el_model3_odonnell_ext,
 +
jst_jpcam_g_el_model1_odonnell_ext, jst_jpcam_g_el_model3_odonnell_ext, kids_g_el_model1_odonnell_ext, kids_g_el_model3_odonnell_ext,
 +
kids_i_el_model1_odonnell_ext, kids_i_el_model3_odonnell_ext, kids_r_el_model1_odonnell_ext, kids_r_el_model3_odonnell_ext,
 +
kids_u_el_model1_odonnell_ext, kids_u_el_model3_odonnell_ext, lsst_g_el_model1_odonnell_ext, lsst_g_el_model3_odonnell_ext,
 +
lsst_i_el_model1_odonnell_ext, lsst_i_el_model3_odonnell_ext, lsst_r_el_model1_odonnell_ext, lsst_r_el_model3_odonnell_ext,
 +
lsst_u_el_model1_odonnell_ext, lsst_u_el_model3_odonnell_ext, lsst_y_el_model1_odonnell_ext, lsst_y_el_model3_odonnell_ext,
 +
lsst_z_el_model1_odonnell_ext, lsst_z_el_model3_odonnell_ext, cfht_megacam_r_el_model1_odonnell_ext,
 +
cfht_megacam_r_el_model3_odonnell_ext, cfht_megacam_u_el_model1_odonnell_ext, cfht_megacam_u_el_model3_odonnell_ext,
 +
pan_starrs_i_el_model1_odonnell_ext, pan_starrs_i_el_model3_odonnell_ext, pan_starrs_z_el_model1_odonnell_ext,
 +
pan_starrs_z_el_model3_odonnell_ext, euclid_nisp_h_el_model1_odonnell_ext, euclid_nisp_h_el_model3_odonnell_ext,
 +
euclid_nisp_j_el_model1_odonnell_ext, euclid_nisp_j_el_model3_odonnell_ext, euclid_nisp_y_el_model1_odonnell_ext,
 +
euclid_nisp_y_el_model3_odonnell_ext, euclid_vis_el_model1_odonnell_ext, euclid_vis_el_model3_odonnell_ext,
 +
2mass_h_el_model1_odonnell_ext, 2mass_h_el_model3_odonnell_ext, 2mass_j_el_model1_odonnell_ext, 2mass_j_el_model3_odonnell_ext,
 +
2mass_ks_el_model1_odonnell_ext, 2mass_ks_el_model3_odonnell_ext, sdss_r01_el_model1_odonnell_ext, sdss_r01_el_model3_odonnell_ext,
 +
dominant_shape, bulge_angle, disk_angle, median_major_axis, scale_length, bulge_fraction, disk_scalelength, disk_nsersic, disk_r50,
 +
bulge_r50, bulge_nsersic, disk_ellipticity, bulge_ellipticity, disk_axis_ratio, bulge_axis_ratio, disk_inclination_angle,
 +
bulge_inclination_angle, random_index, halo_id, galaxy_id, step
 +
FROM cosmohub.flagship_mock_1_9_2_c
  
 +
CREATE TABLE tallada.flagship_mock_1_9_2_s(
 +
  `kind` bigint,
 +
  `luminosity_r01` double,
 +
  `halo_x` double,
 +
  `halo_y` double,
 +
  `halo_z` double,
 +
  `halo_vx` double,
 +
  `halo_vy` double,
 +
  `halo_vz` double,
 +
  `halo_r` double,
 +
  `true_redshift_halo` double,
 +
  `halo_lm` double,
 +
  `halo_n_sats` bigint,
 +
  `n_gals` bigint,
 +
  `abs_mag_r01` double,
 +
  `abs_mag_r01_evolved` double,
 +
  `luminosity_r01_evolved` double,
 +
  `gr_restframe` double,
 +
  `color_kind` int,
 +
  `x_gal` double,
 +
  `y_gal` double,
 +
  `z_gal` double,
 +
  `r_gal` double,
 +
  `true_redshift_gal` double,
 +
  `ra_gal` double,
 +
  `dec_gal` double,
 +
  `ra_mag_gal` double,
 +
  `dec_mag_gal` double,
 +
  `kappa` double,
 +
  `gamma1` double,
 +
  `gamma2` double,
 +
  `hpix_29_nest` bigint,
 +
  `hpix_13_nest` bigint,
 +
  `vx_gal` double,
 +
  `vy_gal` double,
 +
  `vz_gal` double,
 +
  `vrad_gal` double,
 +
  `delta_r` double,
 +
  `observed_redshift_gal` double,
 +
  `sed_ke` double,
 +
  `gr_cosmos` double,
 +
  `sed_cosmos` double,
 +
  `ext_curve_cosmos` bigint,
 +
  `ebv_cosmos` double,
 +
  `is_within_cosmos` boolean,
 +
  `cosmos_distance` double,
 +
  `abs_mag_uv_dereddened` double,
 +
  `log_ml_r01` double,
 +
  `log_stellar_mass` double,
 +
  `metallicity` double,
 +
  `log_sfr` double,
 +
  `logf_halpha_ext` double,
 +
  `logf_halpha` double,
 +
  `halpha_scatter` double,
 +
  `loglum_halpha` double,
 +
  `loglum_halpha_ext` double,
 +
  `logf_dummy` double,
 +
  `z_dummy` double,
 +
  `logf_halpha_model1_ext` double,
 +
  `logf_halpha_model1` double,
 +
  `loglum_halpha_model1_ext` double,
 +
  `loglum_halpha_model1` double,
 +
  `logf_halpha_model3_ext` double,
 +
  `logf_halpha_model3` double,
 +
  `loglum_halpha_model3_ext` double,
 +
  `loglum_halpha_model3` double,
 +
  `logf_hbeta_model1_ext` double,
 +
  `logf_hbeta_model1` double,
 +
  `logf_o2_model1_ext` double,
 +
  `logf_o2_model1` double,
 +
  `logf_n2_model1_ext` double,
 +
  `logf_n2_model1` double,
 +
  `logf_o3_model1_ext` double,
 +
  `logf_o3_model1` double,
 +
  `logf_s2_model1_ext` double,
 +
  `logf_s2_model1` double,
 +
  `logf_hbeta_model3_ext` double,
 +
  `logf_hbeta_model3` double,
 +
  `logf_o2_model3_ext` double,
 +
  `logf_o2_model3` double,
 +
  `logf_n2_model3_ext` double,
 +
  `logf_n2_model3` double,
 +
  `logf_o3_model3_ext` double,
 +
  `logf_o3_model3` double,
 +
  `logf_s2_model3_ext` double,
 +
  `logf_s2_model3` double,
 +
  `blanco_decam_g` double,
 +
  `blanco_decam_i` double,
 +
  `blanco_decam_r` double,
 +
  `blanco_decam_z` double,
 +
  `gaia_bp` double,
 +
  `gaia_g` double,
 +
  `gaia_rp` double,
 +
  `subaru_hsc_z` double,
 +
  `jst_jpcam_g` double,
 +
  `kids_g` double,
 +
  `kids_i` double,
 +
  `kids_r` double,
 +
  `kids_u` double,
 +
  `lsst_g` double,
 +
  `lsst_i` double,
 +
  `lsst_r` double,
 +
  `lsst_u` double,
 +
  `lsst_y` double,
 +
  `lsst_z` double,
 +
  `cfht_megacam_r` double,
 +
  `cfht_megacam_u` double,
 +
  `pan_starrs_i` double,
 +
  `pan_starrs_z` double,
 +
  `euclid_nisp_h` double,
 +
  `euclid_nisp_j` double,
 +
  `euclid_nisp_y` double,
 +
  `euclid_vis` double,
 +
  `2mass_h` double,
 +
  `2mass_j` double,
 +
  `2mass_ks` double,
 +
  `sdss_r01` double,
 +
  `l_gal` double,
 +
  `b_gal` double,
 +
  `mw_extinction` double,
 +
  `2mass_h_odonnell_ext` double,
 +
  `2mass_j_odonnell_ext` double,
 +
  `2mass_ks_odonnell_ext` double,
 +
  `blanco_decam_g_odonnell_ext` double,
 +
  `blanco_decam_i_odonnell_ext` double,
 +
  `blanco_decam_r_odonnell_ext` double,
 +
  `blanco_decam_z_odonnell_ext` double,
 +
  `cfht_megacam_r_odonnell_ext` double,
 +
  `cfht_megacam_u_odonnell_ext` double,
 +
  `euclid_nisp_h_odonnell_ext` double,
 +
  `euclid_nisp_j_odonnell_ext` double,
 +
  `euclid_nisp_y_odonnell_ext` double,
 +
  `euclid_vis_odonnell_ext` double,
 +
  `gaia_bp_odonnell_ext` double,
 +
  `gaia_g_odonnell_ext` double,
 +
  `gaia_rp_odonnell_ext` double,
 +
  `jst_jpcam_g_odonnell_ext` double,
 +
  `kids_g_odonnell_ext` double,
 +
  `kids_i_odonnell_ext` double,
 +
  `kids_r_odonnell_ext` double,
 +
  `kids_u_odonnell_ext` double,
 +
  `lsst_g_odonnell_ext` double,
 +
  `lsst_i_odonnell_ext` double,
 +
  `lsst_r_odonnell_ext` double,
 +
  `lsst_u_odonnell_ext` double,
 +
  `lsst_y_odonnell_ext` double,
 +
  `lsst_z_odonnell_ext` double,
 +
  `pan_starrs_i_odonnell_ext` double,
 +
  `pan_starrs_z_odonnell_ext` double,
 +
  `sdss_r01_odonnell_ext` double,
 +
  `subaru_hsc_z_odonnell_ext` double,
 +
  `blanco_decam_g_el_model1_odonnell_ext` double,
 +
  `blanco_decam_g_el_model3_odonnell_ext` double,
 +
  `blanco_decam_i_el_model1_odonnell_ext` double,
 +
  `blanco_decam_i_el_model3_odonnell_ext` double,
 +
  `blanco_decam_r_el_model1_odonnell_ext` double,
 +
  `blanco_decam_r_el_model3_odonnell_ext` double,
 +
  `blanco_decam_z_el_model1_odonnell_ext` double,
 +
  `blanco_decam_z_el_model3_odonnell_ext` double,
 +
  `gaia_bp_el_model1_odonnell_ext` double,
 +
  `gaia_bp_el_model3_odonnell_ext` double,
 +
  `gaia_g_el_model1_odonnell_ext` double,
 +
  `gaia_g_el_model3_odonnell_ext` double,
 +
  `gaia_rp_el_model1_odonnell_ext` double,
 +
  `gaia_rp_el_model3_odonnell_ext` double,
 +
  `subaru_hsc_z_el_model1_odonnell_ext` double,
 +
  `subaru_hsc_z_el_model3_odonnell_ext` double,
 +
  `jst_jpcam_g_el_model1_odonnell_ext` double,
 +
  `jst_jpcam_g_el_model3_odonnell_ext` double,
 +
  `kids_g_el_model1_odonnell_ext` double,
 +
  `kids_g_el_model3_odonnell_ext` double,
 +
  `kids_i_el_model1_odonnell_ext` double,
 +
  `kids_i_el_model3_odonnell_ext` double,
 +
  `kids_r_el_model1_odonnell_ext` double,
 +
  `kids_r_el_model3_odonnell_ext` double,
 +
  `kids_u_el_model1_odonnell_ext` double,
 +
  `kids_u_el_model3_odonnell_ext` double,
 +
  `lsst_g_el_model1_odonnell_ext` double,
 +
  `lsst_g_el_model3_odonnell_ext` double,
 +
  `lsst_i_el_model1_odonnell_ext` double,
 +
  `lsst_i_el_model3_odonnell_ext` double,
 +
  `lsst_r_el_model1_odonnell_ext` double,
 +
  `lsst_r_el_model3_odonnell_ext` double,
 +
  `lsst_u_el_model1_odonnell_ext` double,
 +
  `lsst_u_el_model3_odonnell_ext` double,
 +
  `lsst_y_el_model1_odonnell_ext` double,
 +
  `lsst_y_el_model3_odonnell_ext` double,
 +
  `lsst_z_el_model1_odonnell_ext` double,
 +
  `lsst_z_el_model3_odonnell_ext` double,
 +
  `cfht_megacam_r_el_model1_odonnell_ext` double,
 +
  `cfht_megacam_r_el_model3_odonnell_ext` double,
 +
  `cfht_megacam_u_el_model1_odonnell_ext` double,
 +
  `cfht_megacam_u_el_model3_odonnell_ext` double,
 +
  `pan_starrs_i_el_model1_odonnell_ext` double,
 +
  `pan_starrs_i_el_model3_odonnell_ext` double,
 +
  `pan_starrs_z_el_model1_odonnell_ext` double,
 +
  `pan_starrs_z_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_h_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_h_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_j_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_j_el_model3_odonnell_ext` double,
 +
  `euclid_nisp_y_el_model1_odonnell_ext` double,
 +
  `euclid_nisp_y_el_model3_odonnell_ext` double,
 +
  `euclid_vis_el_model1_odonnell_ext` double,
 +
  `euclid_vis_el_model3_odonnell_ext` double,
 +
  `2mass_h_el_model1_odonnell_ext` double,
 +
  `2mass_h_el_model3_odonnell_ext` double,
 +
  `2mass_j_el_model1_odonnell_ext` double,
 +
  `2mass_j_el_model3_odonnell_ext` double,
 +
  `2mass_ks_el_model1_odonnell_ext` double,
 +
  `2mass_ks_el_model3_odonnell_ext` double,
 +
  `sdss_r01_el_model1_odonnell_ext` double,
 +
  `sdss_r01_el_model3_odonnell_ext` double,
 +
  `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)',
 +
  `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',
 +
  `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination',
 +
  `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)',
 +
  `scale_length` double COMMENT 'disc and bulge scalelength prior',
 +
  `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)',
 +
  `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)',
 +
  `disk_nsersic` double COMMENT 'Sersic index of the disk component',
 +
  `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678',
 +
  `bulge_r50` double COMMENT 'half light radius of the bulge',
 +
  `bulge_nsersic` double COMMENT 'Sersic index of the bulge component',
 +
  `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)',
 +
  `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)',
 +
  `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 +
  `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 +
  `disk_inclination_angle` double COMMENT '',
 +
  `bulge_inclination_angle` double COMMENT '',
 +
  `random_index` double,
 +
  `halo_id` bigint,
 +
  `galaxy_id` bigint
 +
)
 +
PARTITIONED BY (
 +
  `step` smallint
 +
)
 +
CLUSTERED BY (
 +
  hpix_13_nest
 +
)
 +
SORTED BY (
 +
  hpix_13_nest ASC
 +
)
 +
INTO 128 BUCKETS
 +
STORED AS ORC
 +
;
  
−
    INSERT OVERWRITE TABLE cosmohub.flagship_mock_1_9_2_c
+
cat << EOF > lensing_step.sql
−
     SELECT * FROM tallada.flagship_1_9_2;
+
SET hive.auto.convert.join.noconditionaltask.size=1;
 +
INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_s PARTITION (step=${STEP})
 +
SELECT
 +
  m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm,
 +
  m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal,
 +
  m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, magpos.ra_mag, magpos.dec_mag, m.kappa, m.gamma1, m.gamma2,
 +
  m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos,
 +
  m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01,
 +
  m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha, m.loglum_halpha_ext,
 +
  m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext, m.loglum_halpha_model1,
 +
  m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3, m.logf_hbeta_model1_ext,
 +
  m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1, m.logf_o3_model1_ext,
 +
  m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3, m.logf_o2_model3_ext,
 +
  m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3, m.logf_s2_model3_ext,
 +
  m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g, m.gaia_rp,
 +
  m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y, m.lsst_z,
 +
  m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y, m.euclid_vis,
 +
  m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext, m.2mass_j_odonnell_ext,
 +
  m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext, m.blanco_decam_r_odonnell_ext,
 +
  m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext, m.euclid_nisp_h_odonnell_ext,
 +
  m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext, m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext,
 +
  m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext, m.kids_i_odonnell_ext, m.kids_r_odonnell_ext,
 +
  m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext, m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext,
 +
  m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext, m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext,
 +
  m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext, m.blanco_decam_g_el_model3_odonnell_ext,
 +
  m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext, m.blanco_decam_r_el_model1_odonnell_ext,
 +
  m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext, m.blanco_decam_z_el_model3_odonnell_ext,
 +
  m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext, m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext,
 +
  m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext, m.subaru_hsc_z_el_model1_odonnell_ext,
 +
  m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext, m.jst_jpcam_g_el_model3_odonnell_ext,
 +
  m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext, m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext,
 +
  m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext, m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext,
 +
  m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext, m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext,
 +
  m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext, m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext,
 +
  m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext, m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext,
 +
  m.cfht_megacam_r_el_model1_odonnell_ext, m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext,
 +
  m.cfht_megacam_u_el_model3_odonnell_ext, m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext,
 +
  m.pan_starrs_z_el_model1_odonnell_ext, m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext,
 +
  m.euclid_nisp_h_el_model3_odonnell_ext, m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext,
 +
  m.euclid_nisp_y_el_model1_odonnell_ext, m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext,
 +
  m.euclid_vis_el_model3_odonnell_ext, m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext,
 +
  m.2mass_j_el_model1_odonnell_ext, m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext,
 +
  m.2mass_ks_el_model3_odonnell_ext, m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape,
 +
  m.bulge_angle, m.disk_angle, m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50,
 +
  m.bulge_r50, m.bulge_nsersic, m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle,
 +
  m.bulge_inclination_angle, m.random_index, m.halo_id, m.galaxy_id
 +
FROM (
 +
  SELECT
 +
    m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm,
 +
    m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal,
 +
    m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, l.defl_0 as kappa, l.shear_1 as gamma1, l.shear_2 as gamma2,
 +
    m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos,
 +
    m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01,
 +
    m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha,
 +
    m.loglum_halpha_ext, m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext,
 +
    m.loglum_halpha_model1, m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3,
 +
    m.logf_hbeta_model1_ext, m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1,
 +
    m.logf_o3_model1_ext, m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3,
 +
    m.logf_o2_model3_ext, m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3,
 +
    m.logf_s2_model3_ext, m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g,
 +
    m.gaia_rp, m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y,
 +
    m.lsst_z, m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y,
 +
    m.euclid_vis, m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext,
 +
    m.2mass_j_odonnell_ext, m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext,
 +
    m.blanco_decam_r_odonnell_ext, m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext,
 +
    m.euclid_nisp_h_odonnell_ext, m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext,
 +
    m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext, m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext,
 +
    m.kids_i_odonnell_ext, m.kids_r_odonnell_ext, m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext,
 +
    m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext, m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext,
 +
    m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext, m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext,
 +
    m.blanco_decam_g_el_model3_odonnell_ext, m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext,
 +
    m.blanco_decam_r_el_model1_odonnell_ext, m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext,
 +
    m.blanco_decam_z_el_model3_odonnell_ext, m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext,
 +
    m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext, m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext,
 +
    m.subaru_hsc_z_el_model1_odonnell_ext, m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext,
 +
    m.jst_jpcam_g_el_model3_odonnell_ext, m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext,
 +
    m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext, m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext,
 +
    m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext, m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext,
 +
    m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext, m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext,
 +
    m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext, m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext,
 +
    m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext, m.cfht_megacam_r_el_model1_odonnell_ext,
 +
    m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext, m.cfht_megacam_u_el_model3_odonnell_ext,
 +
    m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext, m.pan_starrs_z_el_model1_odonnell_ext,
 +
    m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext, m.euclid_nisp_h_el_model3_odonnell_ext,
 +
    m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext, m.euclid_nisp_y_el_model1_odonnell_ext,
 +
    m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext, m.euclid_vis_el_model3_odonnell_ext,
 +
    m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext, m.2mass_j_el_model1_odonnell_ext,
 +
    m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext, m.2mass_ks_el_model3_odonnell_ext,
 +
    m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape, m.bulge_angle, m.disk_angle,
 +
    m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50, m.bulge_r50, m.bulge_nsersic,
 +
    m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle, m.bulge_inclination_angle,
 +
    m.random_index, m.halo_id, m.galaxy_id,
 +
     udf.magnified_positions(CAST(m.ra_gal AS FLOAT), CAST(m.dec_gal AS FLOAT), l.defl_1, l.defl_2) AS magpos
 +
  FROM tallada.flagship_mock_1_9_2_c2 AS m
 +
  JOIN cosmohub.flagship_lensing AS l
 +
    ON udf.ang2pix(13, m.ra_gal, m.dec_gal, True, True) = l.hpix
 +
    AND m.step = l.step
 +
    AND l.step=${STEP} AND m.step=${STEP}
 +
) AS m
 +
;
  
−
    ANALYZE TABLE cosmohub.flagship_mock_1_9_2_c COMPUTE STATISTICS FOR COLUMNS;
+
for STEP in $(seq 344 400);
 +
do
 +
  echo $STEP
 +
  sem -j4 "beeline --color=true --showHeader=true --verbose=true --silent=false -u \
 +
'jdbc:hive2://ambarisrv02.pic.es:2181,ambarisrv03.pic.es:2181,ambarisrv01.pic.es:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' \
 +
  -f lensing_step.sql --hivevar STEP=${STEP}"
 +
done
 +
sem --wait

Latest revision as of 08:03, 14 July 2020

CREATE EXTERNAL TABLE `flagship_1_9_2`(
 `kind` bigint, 
 `luminosity_r01` double, 
 `halo_x` double, 
 `halo_y` double, 
 `halo_z` double, 
 `halo_vx` double, 
 `halo_vy` double, 
 `halo_vz` double, 
 `halo_r` double, 
 `true_redshift_halo` double, 
 `halo_lm` double, 
 `halo_n_sats` bigint, 
 `n_gals` bigint, 
 `abs_mag_r01` double, 
 `abs_mag_r01_evolved` double, 
 `luminosity_r01_evolved` double, 
 `gr_restframe` double, 
 `color_kind` int, 
 `x_gal` double, 
 `y_gal` double, 
 `z_gal` double, 
 `r_gal` double, 
 `true_redshift_gal` double, 
 `ra_gal` double, 
 `dec_gal` double, 
 `hpix_nest` bigint, 
 `vx_gal` double, 
 `vy_gal` double, 
 `vz_gal` double, 
 `vrad_gal` double, 
 `delta_r` double, 
 `observed_redshift_gal` double, 
 `sed_ke` double, 
 `gr_cosmos` double, 
 `sed_cosmos` double, 
 `ext_curve_cosmos` bigint, 
 `ebv_cosmos` double, 
 `is_within_cosmos` boolean, 
 `cosmos_distance` double, 
 `abs_mag_uv_dereddened` double, 
 `log_ml_r01` double, 
 `log_stellar_mass` double, 
 `metallicity` double, 
 `log_sfr` double, 
 `logf_halpha_ext` double, 
 `logf_halpha` double, 
 `halpha_scatter` double, 
 `loglum_halpha` double, 
 `loglum_halpha_ext` double, 
 `logf_dummy` double, 
 `z_dummy` double, 
 `logf_halpha_model1_ext` double, 
 `logf_halpha_model1` double, 
 `loglum_halpha_model1_ext` double, 
 `loglum_halpha_model1` double, 
 `logf_halpha_model3_ext` double, 
 `logf_halpha_model3` double, 
 `loglum_halpha_model3_ext` double, 
 `loglum_halpha_model3` double, 
 `logf_hbeta_model1_ext` double, 
 `logf_hbeta_model1` double, 
 `logf_o2_model1_ext` double, 
 `logf_o2_model1` double, 
 `logf_n2_model1_ext` double, 
 `logf_n2_model1` double, 
 `logf_o3_model1_ext` double, 
 `logf_o3_model1` double, 
 `logf_s2_model1_ext` double, 
 `logf_s2_model1` double, 
 `logf_hbeta_model3_ext` double, 
 `logf_hbeta_model3` double, 
 `logf_o2_model3_ext` double, 
 `logf_o2_model3` double, 
 `logf_n2_model3_ext` double, 
 `logf_n2_model3` double, 
 `logf_o3_model3_ext` double, 
 `logf_o3_model3` double, 
 `logf_s2_model3_ext` double, 
 `logf_s2_model3` double, 
 `blanco_decam_g` double, 
 `blanco_decam_i` double, 
 `blanco_decam_r` double, 
 `blanco_decam_z` double, 
 `gaia_bp` double, 
 `gaia_g` double, 
 `gaia_rp` double, 
 `subaru_hsc_z` double, 
 `jst_jpcam_g` double, 
 `kids_g` double, 
 `kids_i` double, 
 `kids_r` double, 
 `kids_u` double, 
 `lsst_g` double, 
 `lsst_i` double, 
 `lsst_r` double, 
 `lsst_u` double, 
 `lsst_y` double, 
 `lsst_z` double, 
 `cfht_megacam_r` double, 
 `cfht_megacam_u` double, 
 `pan_starrs_i` double, 
 `pan_starrs_z` double, 
 `euclid_nisp_h` double, 
 `euclid_nisp_j` double, 
 `euclid_nisp_y` double, 
 `euclid_vis` double, 
 `2mass_h` double, 
 `2mass_j` double, 
 `2mass_ks` double, 
 `sdss_r01` double, 
 `l_gal` double, 
 `b_gal` double, 
 `mw_extinction` double, 
 `2mass_h_odonnell_ext` double, 
 `2mass_j_odonnell_ext` double, 
 `2mass_ks_odonnell_ext` double, 
 `blanco_decam_g_odonnell_ext` double, 
 `blanco_decam_i_odonnell_ext` double, 
 `blanco_decam_r_odonnell_ext` double, 
 `blanco_decam_z_odonnell_ext` double, 
 `cfht_megacam_r_odonnell_ext` double, 
 `cfht_megacam_u_odonnell_ext` double, 
 `euclid_nisp_h_odonnell_ext` double, 
 `euclid_nisp_j_odonnell_ext` double, 
 `euclid_nisp_y_odonnell_ext` double, 
 `euclid_vis_odonnell_ext` double, 
 `gaia_bp_odonnell_ext` double, 
 `gaia_g_odonnell_ext` double, 
 `gaia_rp_odonnell_ext` double, 
 `jst_jpcam_g_odonnell_ext` double, 
 `kids_g_odonnell_ext` double, 
 `kids_i_odonnell_ext` double, 
 `kids_r_odonnell_ext` double, 
 `kids_u_odonnell_ext` double, 
 `lsst_g_odonnell_ext` double, 
 `lsst_i_odonnell_ext` double, 
 `lsst_r_odonnell_ext` double, 
 `lsst_u_odonnell_ext` double, 
 `lsst_y_odonnell_ext` double, 
 `lsst_z_odonnell_ext` double, 
 `pan_starrs_i_odonnell_ext` double, 
 `pan_starrs_z_odonnell_ext` double, 
 `sdss_r01_odonnell_ext` double, 
 `subaru_hsc_z_odonnell_ext` double, 
 `blanco_decam_g_el_model1_odonnell_ext` double, 
 `blanco_decam_g_el_model3_odonnell_ext` double, 
 `blanco_decam_i_el_model1_odonnell_ext` double, 
 `blanco_decam_i_el_model3_odonnell_ext` double, 
 `blanco_decam_r_el_model1_odonnell_ext` double, 
 `blanco_decam_r_el_model3_odonnell_ext` double, 
 `blanco_decam_z_el_model1_odonnell_ext` double, 
 `blanco_decam_z_el_model3_odonnell_ext` double, 
 `gaia_bp_el_model1_odonnell_ext` double, 
 `gaia_bp_el_model3_odonnell_ext` double, 
 `gaia_g_el_model1_odonnell_ext` double, 
 `gaia_g_el_model3_odonnell_ext` double, 
 `gaia_rp_el_model1_odonnell_ext` double, 
 `gaia_rp_el_model3_odonnell_ext` double, 
 `subaru_hsc_z_el_model1_odonnell_ext` double, 
 `subaru_hsc_z_el_model3_odonnell_ext` double, 
 `jst_jpcam_g_el_model1_odonnell_ext` double, 
 `jst_jpcam_g_el_model3_odonnell_ext` double, 
 `kids_g_el_model1_odonnell_ext` double, 
 `kids_g_el_model3_odonnell_ext` double, 
 `kids_i_el_model1_odonnell_ext` double, 
 `kids_i_el_model3_odonnell_ext` double, 
 `kids_r_el_model1_odonnell_ext` double, 
 `kids_r_el_model3_odonnell_ext` double, 
 `kids_u_el_model1_odonnell_ext` double, 
 `kids_u_el_model3_odonnell_ext` double, 
 `lsst_g_el_model1_odonnell_ext` double, 
 `lsst_g_el_model3_odonnell_ext` double, 
 `lsst_i_el_model1_odonnell_ext` double, 
 `lsst_i_el_model3_odonnell_ext` double, 
 `lsst_r_el_model1_odonnell_ext` double, 
 `lsst_r_el_model3_odonnell_ext` double, 
 `lsst_u_el_model1_odonnell_ext` double, 
 `lsst_u_el_model3_odonnell_ext` double, 
 `lsst_y_el_model1_odonnell_ext` double, 
 `lsst_y_el_model3_odonnell_ext` double, 
 `lsst_z_el_model1_odonnell_ext` double, 
 `lsst_z_el_model3_odonnell_ext` double, 
 `cfht_megacam_r_el_model1_odonnell_ext` double, 
 `cfht_megacam_r_el_model3_odonnell_ext` double, 
 `cfht_megacam_u_el_model1_odonnell_ext` double, 
 `cfht_megacam_u_el_model3_odonnell_ext` double, 
 `pan_starrs_i_el_model1_odonnell_ext` double, 
 `pan_starrs_i_el_model3_odonnell_ext` double, 
 `pan_starrs_z_el_model1_odonnell_ext` double, 
 `pan_starrs_z_el_model3_odonnell_ext` double, 
 `euclid_nisp_h_el_model1_odonnell_ext` double, 
 `euclid_nisp_h_el_model3_odonnell_ext` double, 
 `euclid_nisp_j_el_model1_odonnell_ext` double, 
 `euclid_nisp_j_el_model3_odonnell_ext` double, 
 `euclid_nisp_y_el_model1_odonnell_ext` double, 
 `euclid_nisp_y_el_model3_odonnell_ext` double, 
 `euclid_vis_el_model1_odonnell_ext` double, 
 `euclid_vis_el_model3_odonnell_ext` double, 
 `2mass_h_el_model1_odonnell_ext` double, 
 `2mass_h_el_model3_odonnell_ext` double, 
 `2mass_j_el_model1_odonnell_ext` double, 
 `2mass_j_el_model3_odonnell_ext` double, 
 `2mass_ks_el_model1_odonnell_ext` double, 
 `2mass_ks_el_model3_odonnell_ext` double, 
 `sdss_r01_el_model1_odonnell_ext` double, 
 `sdss_r01_el_model3_odonnell_ext` double, 
 `dominant_shape` bigint, 
 `bulge_angle` double, 
 `disk_angle` double, 
 `median_major_axis` double, 
 `scale_length` double, 
 `bulge_fraction` double, 
 `disk_scalelength` double, 
 `disk_nsersic` double, 
 `disk_r50` double, 
 `bulge_r50` double, 
 `bulge_nsersic` double, 
 `disk_ellipticity` double, 
 `bulge_ellipticity` double, 
 `disk_axis_ratio` double, 
 `bulge_axis_ratio` double, 
 `disk_inclination_angle` double, 
 `bulge_inclination_angle` double, 
 `step` bigint, 
 `random_index` double, 
 `halo_id` bigint, 
 `galaxy_id` bigint)
ROW FORMAT SERDE 
 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
;

CREATE TABLE flagship_mock_1_9_2_c(
 `kind` bigint, 
 `luminosity_r01` double, 
 `halo_x` double, 
 `halo_y` double, 
 `halo_z` double, 
 `halo_vx` double, 
 `halo_vy` double, 
 `halo_vz` double, 
 `halo_r` double, 
 `true_redshift_halo` double, 
 `halo_lm` double, 
 `halo_n_sats` bigint, 
 `n_gals` bigint, 
 `abs_mag_r01` double, 
 `abs_mag_r01_evolved` double, 
 `luminosity_r01_evolved` double, 
 `gr_restframe` double, 
 `color_kind` int, 
 `x_gal` double, 
 `y_gal` double, 
 `z_gal` double, 
 `r_gal` double, 
 `true_redshift_gal` double, 
 `ra_gal` double, 
 `dec_gal` double, 
 `hpix_nest` bigint, 
 `vx_gal` double, 
 `vy_gal` double, 
 `vz_gal` double, 
 `vrad_gal` double, 
 `delta_r` double, 
 `observed_redshift_gal` double, 
 `sed_ke` double, 
 `gr_cosmos` double, 
 `sed_cosmos` double, 
 `ext_curve_cosmos` bigint, 
 `ebv_cosmos` double, 
 `is_within_cosmos` boolean, 
 `cosmos_distance` double, 
 `abs_mag_uv_dereddened` double, 
 `log_ml_r01` double, 
 `log_stellar_mass` double, 
 `metallicity` double, 
 `log_sfr` double, 
 `logf_halpha_ext` double, 
 `logf_halpha` double, 
 `halpha_scatter` double, 
 `loglum_halpha` double, 
 `loglum_halpha_ext` double, 
 `logf_dummy` double, 
 `z_dummy` double, 
 `logf_halpha_model1_ext` double, 
 `logf_halpha_model1` double, 
 `loglum_halpha_model1_ext` double, 
 `loglum_halpha_model1` double, 
 `logf_halpha_model3_ext` double, 
 `logf_halpha_model3` double, 
 `loglum_halpha_model3_ext` double, 
 `loglum_halpha_model3` double, 
 `logf_hbeta_model1_ext` double, 
 `logf_hbeta_model1` double, 
 `logf_o2_model1_ext` double, 
 `logf_o2_model1` double, 
 `logf_n2_model1_ext` double, 
 `logf_n2_model1` double, 
 `logf_o3_model1_ext` double, 
 `logf_o3_model1` double, 
 `logf_s2_model1_ext` double, 
 `logf_s2_model1` double, 
 `logf_hbeta_model3_ext` double, 
 `logf_hbeta_model3` double, 
 `logf_o2_model3_ext` double, 
 `logf_o2_model3` double, 
 `logf_n2_model3_ext` double, 
 `logf_n2_model3` double, 
 `logf_o3_model3_ext` double, 
 `logf_o3_model3` double, 
 `logf_s2_model3_ext` double, 
 `logf_s2_model3` double, 
 `blanco_decam_g` double, 
 `blanco_decam_i` double, 
 `blanco_decam_r` double, 
 `blanco_decam_z` double, 
 `gaia_bp` double, 
 `gaia_g` double, 
 `gaia_rp` double, 
 `subaru_hsc_z` double, 
 `jst_jpcam_g` double, 
 `kids_g` double, 
 `kids_i` double, 
 `kids_r` double, 
 `kids_u` double, 
 `lsst_g` double, 
 `lsst_i` double, 
 `lsst_r` double, 
 `lsst_u` double, 
 `lsst_y` double, 
 `lsst_z` double, 
 `cfht_megacam_r` double, 
 `cfht_megacam_u` double, 
 `pan_starrs_i` double, 
 `pan_starrs_z` double, 
 `euclid_nisp_h` double, 
 `euclid_nisp_j` double, 
 `euclid_nisp_y` double, 
 `euclid_vis` double, 
 `2mass_h` double, 
 `2mass_j` double, 
 `2mass_ks` double, 
 `sdss_r01` double, 
 `l_gal` double, 
 `b_gal` double, 
 `mw_extinction` double, 
 `2mass_h_odonnell_ext` double, 
 `2mass_j_odonnell_ext` double, 
 `2mass_ks_odonnell_ext` double, 
 `blanco_decam_g_odonnell_ext` double, 
 `blanco_decam_i_odonnell_ext` double, 
 `blanco_decam_r_odonnell_ext` double, 
 `blanco_decam_z_odonnell_ext` double, 
 `cfht_megacam_r_odonnell_ext` double, 
 `cfht_megacam_u_odonnell_ext` double, 
 `euclid_nisp_h_odonnell_ext` double, 
 `euclid_nisp_j_odonnell_ext` double, 
 `euclid_nisp_y_odonnell_ext` double, 
 `euclid_vis_odonnell_ext` double, 
 `gaia_bp_odonnell_ext` double, 
 `gaia_g_odonnell_ext` double, 
 `gaia_rp_odonnell_ext` double, 
 `jst_jpcam_g_odonnell_ext` double, 
 `kids_g_odonnell_ext` double, 
 `kids_i_odonnell_ext` double, 
 `kids_r_odonnell_ext` double, 
 `kids_u_odonnell_ext` double, 
 `lsst_g_odonnell_ext` double, 
 `lsst_i_odonnell_ext` double, 
 `lsst_r_odonnell_ext` double, 
 `lsst_u_odonnell_ext` double, 
 `lsst_y_odonnell_ext` double, 
 `lsst_z_odonnell_ext` double, 
 `pan_starrs_i_odonnell_ext` double, 
 `pan_starrs_z_odonnell_ext` double, 
 `sdss_r01_odonnell_ext` double, 
 `subaru_hsc_z_odonnell_ext` double, 
 `blanco_decam_g_el_model1_odonnell_ext` double, 
 `blanco_decam_g_el_model3_odonnell_ext` double, 
 `blanco_decam_i_el_model1_odonnell_ext` double, 
 `blanco_decam_i_el_model3_odonnell_ext` double, 
 `blanco_decam_r_el_model1_odonnell_ext` double, 
 `blanco_decam_r_el_model3_odonnell_ext` double, 
 `blanco_decam_z_el_model1_odonnell_ext` double, 
 `blanco_decam_z_el_model3_odonnell_ext` double, 
 `gaia_bp_el_model1_odonnell_ext` double, 
 `gaia_bp_el_model3_odonnell_ext` double, 
 `gaia_g_el_model1_odonnell_ext` double, 
 `gaia_g_el_model3_odonnell_ext` double, 
 `gaia_rp_el_model1_odonnell_ext` double, 
 `gaia_rp_el_model3_odonnell_ext` double, 
 `subaru_hsc_z_el_model1_odonnell_ext` double, 
 `subaru_hsc_z_el_model3_odonnell_ext` double, 
 `jst_jpcam_g_el_model1_odonnell_ext` double, 
 `jst_jpcam_g_el_model3_odonnell_ext` double, 
 `kids_g_el_model1_odonnell_ext` double, 
 `kids_g_el_model3_odonnell_ext` double, 
 `kids_i_el_model1_odonnell_ext` double, 
 `kids_i_el_model3_odonnell_ext` double, 
 `kids_r_el_model1_odonnell_ext` double, 
 `kids_r_el_model3_odonnell_ext` double, 
 `kids_u_el_model1_odonnell_ext` double, 
 `kids_u_el_model3_odonnell_ext` double, 
 `lsst_g_el_model1_odonnell_ext` double, 
 `lsst_g_el_model3_odonnell_ext` double, 
 `lsst_i_el_model1_odonnell_ext` double, 
 `lsst_i_el_model3_odonnell_ext` double, 
 `lsst_r_el_model1_odonnell_ext` double, 
 `lsst_r_el_model3_odonnell_ext` double, 
 `lsst_u_el_model1_odonnell_ext` double, 
 `lsst_u_el_model3_odonnell_ext` double, 
 `lsst_y_el_model1_odonnell_ext` double, 
 `lsst_y_el_model3_odonnell_ext` double, 
 `lsst_z_el_model1_odonnell_ext` double, 
 `lsst_z_el_model3_odonnell_ext` double, 
 `cfht_megacam_r_el_model1_odonnell_ext` double, 
 `cfht_megacam_r_el_model3_odonnell_ext` double, 
 `cfht_megacam_u_el_model1_odonnell_ext` double, 
 `cfht_megacam_u_el_model3_odonnell_ext` double, 
 `pan_starrs_i_el_model1_odonnell_ext` double, 
 `pan_starrs_i_el_model3_odonnell_ext` double, 
 `pan_starrs_z_el_model1_odonnell_ext` double, 
 `pan_starrs_z_el_model3_odonnell_ext` double, 
 `euclid_nisp_h_el_model1_odonnell_ext` double, 
 `euclid_nisp_h_el_model3_odonnell_ext` double, 
 `euclid_nisp_j_el_model1_odonnell_ext` double, 
 `euclid_nisp_j_el_model3_odonnell_ext` double, 
 `euclid_nisp_y_el_model1_odonnell_ext` double, 
 `euclid_nisp_y_el_model3_odonnell_ext` double, 
 `euclid_vis_el_model1_odonnell_ext` double, 
 `euclid_vis_el_model3_odonnell_ext` double, 
 `2mass_h_el_model1_odonnell_ext` double, 
 `2mass_h_el_model3_odonnell_ext` double, 
 `2mass_j_el_model1_odonnell_ext` double, 
 `2mass_j_el_model3_odonnell_ext` double, 
 `2mass_ks_el_model1_odonnell_ext` double, 
 `2mass_ks_el_model3_odonnell_ext` double, 
 `sdss_r01_el_model1_odonnell_ext` double, 
 `sdss_r01_el_model3_odonnell_ext` double, 
 `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)',  
 `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', 
 `scale_length` double COMMENT 'disc and bulge scalelength prior', 
 `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', 
 `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', 
 `disk_nsersic` double COMMENT 'Sersic index of the disk component', 
 `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', 
 `bulge_r50` double COMMENT 'half light radius of the bulge', 
 `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', 
 `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', 
 `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', 
 `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', 
 `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)',
 `disk_inclination_angle` double COMMENT , 
 `bulge_inclination_angle` double COMMENT , 
 `step` bigint, 
 `random_index` double, 
 `halo_id` bigint, 
 `galaxy_id` bigint
)
CLUSTERED BY ( 
 halo_id, 
 galaxy_id
) 
INTO 128 BUCKETS
ROW FORMAT SERDE 
 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
STORED AS INPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
;

INSERT OVERWRITE TABLE cosmohub.flagship_mock_1_9_2_c
SELECT * FROM tallada.flagship_1_9_2;

ANALYZE TABLE cosmohub.flagship_mock_1_9_2_c COMPUTE STATISTICS FOR COLUMNS;

CREATE TABLE tallada.flagship_mock_1_9_2_c2(
 `kind` bigint, 
 `luminosity_r01` double, 
 `halo_x` double, 
 `halo_y` double, 
 `halo_z` double, 
 `halo_vx` double, 
 `halo_vy` double, 
 `halo_vz` double, 
 `halo_r` double, 
 `true_redshift_halo` double, 
 `halo_lm` double, 
 `halo_n_sats` bigint, 
 `n_gals` bigint, 
 `abs_mag_r01` double, 
 `abs_mag_r01_evolved` double, 
 `luminosity_r01_evolved` double, 
 `gr_restframe` double, 
 `color_kind` int, 
 `x_gal` double, 
 `y_gal` double, 
 `z_gal` double, 
 `r_gal` double, 
 `true_redshift_gal` double, 
 `ra_gal` double, 
 `dec_gal` double, 
 `hpix_29_nest` bigint, 
 `hpix_13_nest` bigint, 
 `vx_gal` double, 
 `vy_gal` double, 
 `vz_gal` double, 
 `vrad_gal` double, 
 `delta_r` double, 
 `observed_redshift_gal` double, 
 `sed_ke` double, 
 `gr_cosmos` double, 
 `sed_cosmos` double, 
 `ext_curve_cosmos` bigint, 
 `ebv_cosmos` double, 
 `is_within_cosmos` boolean, 
 `cosmos_distance` double, 
 `abs_mag_uv_dereddened` double, 
 `log_ml_r01` double, 
 `log_stellar_mass` double, 
 `metallicity` double, 
 `log_sfr` double, 
 `logf_halpha_ext` double, 
 `logf_halpha` double, 
 `halpha_scatter` double, 
 `loglum_halpha` double, 
 `loglum_halpha_ext` double, 
 `logf_dummy` double, 
 `z_dummy` double, 
 `logf_halpha_model1_ext` double, 
 `logf_halpha_model1` double, 
 `loglum_halpha_model1_ext` double, 
 `loglum_halpha_model1` double, 
 `logf_halpha_model3_ext` double, 
 `logf_halpha_model3` double, 
 `loglum_halpha_model3_ext` double, 
 `loglum_halpha_model3` double, 
 `logf_hbeta_model1_ext` double, 
 `logf_hbeta_model1` double, 
 `logf_o2_model1_ext` double, 
 `logf_o2_model1` double, 
 `logf_n2_model1_ext` double, 
 `logf_n2_model1` double, 
 `logf_o3_model1_ext` double, 
 `logf_o3_model1` double, 
 `logf_s2_model1_ext` double, 
 `logf_s2_model1` double, 
 `logf_hbeta_model3_ext` double, 
 `logf_hbeta_model3` double, 
 `logf_o2_model3_ext` double, 
 `logf_o2_model3` double, 
 `logf_n2_model3_ext` double, 
 `logf_n2_model3` double, 
 `logf_o3_model3_ext` double, 
 `logf_o3_model3` double, 
 `logf_s2_model3_ext` double, 
 `logf_s2_model3` double, 
 `blanco_decam_g` double, 
 `blanco_decam_i` double, 
 `blanco_decam_r` double, 
 `blanco_decam_z` double, 
 `gaia_bp` double, 
 `gaia_g` double, 
 `gaia_rp` double, 
 `subaru_hsc_z` double, 
 `jst_jpcam_g` double, 
 `kids_g` double, 
 `kids_i` double, 
 `kids_r` double, 
 `kids_u` double, 
 `lsst_g` double, 
 `lsst_i` double, 
 `lsst_r` double, 
 `lsst_u` double, 
 `lsst_y` double, 
 `lsst_z` double, 
 `cfht_megacam_r` double, 
 `cfht_megacam_u` double, 
 `pan_starrs_i` double, 
 `pan_starrs_z` double, 
 `euclid_nisp_h` double, 
 `euclid_nisp_j` double, 
 `euclid_nisp_y` double, 
 `euclid_vis` double, 
 `2mass_h` double, 
 `2mass_j` double, 
 `2mass_ks` double, 
 `sdss_r01` double, 
 `l_gal` double, 
 `b_gal` double, 
 `mw_extinction` double, 
 `2mass_h_odonnell_ext` double, 
 `2mass_j_odonnell_ext` double, 
 `2mass_ks_odonnell_ext` double, 
 `blanco_decam_g_odonnell_ext` double, 
 `blanco_decam_i_odonnell_ext` double, 
 `blanco_decam_r_odonnell_ext` double, 
 `blanco_decam_z_odonnell_ext` double, 
 `cfht_megacam_r_odonnell_ext` double, 
 `cfht_megacam_u_odonnell_ext` double, 
 `euclid_nisp_h_odonnell_ext` double, 
 `euclid_nisp_j_odonnell_ext` double, 
 `euclid_nisp_y_odonnell_ext` double, 
 `euclid_vis_odonnell_ext` double, 
 `gaia_bp_odonnell_ext` double, 
 `gaia_g_odonnell_ext` double, 
 `gaia_rp_odonnell_ext` double, 
 `jst_jpcam_g_odonnell_ext` double, 
 `kids_g_odonnell_ext` double, 
 `kids_i_odonnell_ext` double, 
 `kids_r_odonnell_ext` double, 
 `kids_u_odonnell_ext` double, 
 `lsst_g_odonnell_ext` double, 
 `lsst_i_odonnell_ext` double, 
 `lsst_r_odonnell_ext` double, 
 `lsst_u_odonnell_ext` double, 
 `lsst_y_odonnell_ext` double, 
 `lsst_z_odonnell_ext` double, 
 `pan_starrs_i_odonnell_ext` double, 
 `pan_starrs_z_odonnell_ext` double, 
 `sdss_r01_odonnell_ext` double, 
 `subaru_hsc_z_odonnell_ext` double, 
 `blanco_decam_g_el_model1_odonnell_ext` double, 
 `blanco_decam_g_el_model3_odonnell_ext` double, 
 `blanco_decam_i_el_model1_odonnell_ext` double, 
 `blanco_decam_i_el_model3_odonnell_ext` double, 
 `blanco_decam_r_el_model1_odonnell_ext` double, 
 `blanco_decam_r_el_model3_odonnell_ext` double, 
 `blanco_decam_z_el_model1_odonnell_ext` double, 
 `blanco_decam_z_el_model3_odonnell_ext` double, 
 `gaia_bp_el_model1_odonnell_ext` double, 
 `gaia_bp_el_model3_odonnell_ext` double, 
 `gaia_g_el_model1_odonnell_ext` double, 
 `gaia_g_el_model3_odonnell_ext` double, 
 `gaia_rp_el_model1_odonnell_ext` double, 
 `gaia_rp_el_model3_odonnell_ext` double, 
 `subaru_hsc_z_el_model1_odonnell_ext` double, 
 `subaru_hsc_z_el_model3_odonnell_ext` double, 
 `jst_jpcam_g_el_model1_odonnell_ext` double, 
 `jst_jpcam_g_el_model3_odonnell_ext` double, 
 `kids_g_el_model1_odonnell_ext` double, 
 `kids_g_el_model3_odonnell_ext` double, 
 `kids_i_el_model1_odonnell_ext` double, 
 `kids_i_el_model3_odonnell_ext` double, 
 `kids_r_el_model1_odonnell_ext` double, 
 `kids_r_el_model3_odonnell_ext` double, 
 `kids_u_el_model1_odonnell_ext` double, 
 `kids_u_el_model3_odonnell_ext` double, 
 `lsst_g_el_model1_odonnell_ext` double, 
 `lsst_g_el_model3_odonnell_ext` double, 
 `lsst_i_el_model1_odonnell_ext` double, 
 `lsst_i_el_model3_odonnell_ext` double, 
 `lsst_r_el_model1_odonnell_ext` double, 
 `lsst_r_el_model3_odonnell_ext` double, 
 `lsst_u_el_model1_odonnell_ext` double, 
 `lsst_u_el_model3_odonnell_ext` double, 
 `lsst_y_el_model1_odonnell_ext` double, 
 `lsst_y_el_model3_odonnell_ext` double, 
 `lsst_z_el_model1_odonnell_ext` double, 
 `lsst_z_el_model3_odonnell_ext` double, 
 `cfht_megacam_r_el_model1_odonnell_ext` double, 
 `cfht_megacam_r_el_model3_odonnell_ext` double, 
 `cfht_megacam_u_el_model1_odonnell_ext` double, 
 `cfht_megacam_u_el_model3_odonnell_ext` double, 
 `pan_starrs_i_el_model1_odonnell_ext` double, 
 `pan_starrs_i_el_model3_odonnell_ext` double, 
 `pan_starrs_z_el_model1_odonnell_ext` double, 
 `pan_starrs_z_el_model3_odonnell_ext` double, 
 `euclid_nisp_h_el_model1_odonnell_ext` double, 
 `euclid_nisp_h_el_model3_odonnell_ext` double, 
 `euclid_nisp_j_el_model1_odonnell_ext` double, 
 `euclid_nisp_j_el_model3_odonnell_ext` double, 
 `euclid_nisp_y_el_model1_odonnell_ext` double, 
 `euclid_nisp_y_el_model3_odonnell_ext` double, 
 `euclid_vis_el_model1_odonnell_ext` double, 
 `euclid_vis_el_model3_odonnell_ext` double, 
 `2mass_h_el_model1_odonnell_ext` double, 
 `2mass_h_el_model3_odonnell_ext` double, 
 `2mass_j_el_model1_odonnell_ext` double, 
 `2mass_j_el_model3_odonnell_ext` double, 
 `2mass_ks_el_model1_odonnell_ext` double, 
 `2mass_ks_el_model3_odonnell_ext` double, 
 `sdss_r01_el_model1_odonnell_ext` double, 
 `sdss_r01_el_model3_odonnell_ext` double, 
 `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)', 
 `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', 
 `scale_length` double COMMENT 'disc and bulge scalelength prior', 
 `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', 
 `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', 
 `disk_nsersic` double COMMENT 'Sersic index of the disk component', 
 `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', 
 `bulge_r50` double COMMENT 'half light radius of the bulge', 
 `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', 
 `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', 
 `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', 
 `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', 
 `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', 
 `disk_inclination_angle` double COMMENT , 
 `bulge_inclination_angle` double COMMENT , 
 `random_index` double, 
 `halo_id` bigint, 
 `galaxy_id` bigint
)
PARTITIONED BY (
 `step` smallint
)
CLUSTERED BY (
 hpix_13_nest
)
SORTED BY (
 hpix_13_nest ASC
)
INTO 128 BUCKETS
STORED AS ORC
;

INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_c2
SELECT
kind, luminosity_r01, halo_x, halo_y, halo_z, halo_vx, halo_vy, halo_vz, halo_r, true_redshift_halo, halo_lm, halo_n_sats, n_gals,
abs_mag_r01, abs_mag_r01_evolved, luminosity_r01_evolved, gr_restframe, color_kind, x_gal, y_gal, z_gal, r_gal, true_redshift_gal,
ra_gal, dec_gal, hpix_nest, SHIFTRIGHT(hpix_nest, (29-13)*2), vx_gal, vy_gal, vz_gal, vrad_gal, delta_r, observed_redshift_gal, sed_ke, 
gr_cosmos, sed_cosmos, ext_curve_cosmos, ebv_cosmos, is_within_cosmos, cosmos_distance, abs_mag_uv_dereddened, log_ml_r01, 
log_stellar_mass, metallicity, log_sfr, logf_halpha_ext, logf_halpha, halpha_scatter, loglum_halpha, loglum_halpha_ext, logf_dummy, 
z_dummy, logf_halpha_model1_ext, logf_halpha_model1, loglum_halpha_model1_ext, loglum_halpha_model1, logf_halpha_model3_ext, 
logf_halpha_model3, loglum_halpha_model3_ext, loglum_halpha_model3, logf_hbeta_model1_ext, logf_hbeta_model1, logf_o2_model1_ext, 
logf_o2_model1, logf_n2_model1_ext, logf_n2_model1, logf_o3_model1_ext, logf_o3_model1, logf_s2_model1_ext, logf_s2_model1, 
logf_hbeta_model3_ext, logf_hbeta_model3, logf_o2_model3_ext, logf_o2_model3, logf_n2_model3_ext, logf_n2_model3, logf_o3_model3_ext, 
logf_o3_model3, logf_s2_model3_ext, logf_s2_model3, blanco_decam_g, blanco_decam_i, blanco_decam_r, blanco_decam_z, gaia_bp, gaia_g, 
gaia_rp, subaru_hsc_z, jst_jpcam_g, kids_g, kids_i, kids_r, kids_u, lsst_g, lsst_i, lsst_r, lsst_u, lsst_y, lsst_z, cfht_megacam_r, 
cfht_megacam_u, pan_starrs_i, pan_starrs_z, euclid_nisp_h, euclid_nisp_j, euclid_nisp_y, euclid_vis, 2mass_h, 2mass_j, 2mass_ks, 
sdss_r01, l_gal, b_gal, mw_extinction, 2mass_h_odonnell_ext, 2mass_j_odonnell_ext, 2mass_ks_odonnell_ext, blanco_decam_g_odonnell_ext, 
blanco_decam_i_odonnell_ext, blanco_decam_r_odonnell_ext, blanco_decam_z_odonnell_ext, cfht_megacam_r_odonnell_ext, 
cfht_megacam_u_odonnell_ext, euclid_nisp_h_odonnell_ext, euclid_nisp_j_odonnell_ext, euclid_nisp_y_odonnell_ext, euclid_vis_odonnell_ext,
gaia_bp_odonnell_ext, gaia_g_odonnell_ext, gaia_rp_odonnell_ext, jst_jpcam_g_odonnell_ext, kids_g_odonnell_ext, kids_i_odonnell_ext, 
kids_r_odonnell_ext, kids_u_odonnell_ext, lsst_g_odonnell_ext, lsst_i_odonnell_ext, lsst_r_odonnell_ext, lsst_u_odonnell_ext, 
lsst_y_odonnell_ext, lsst_z_odonnell_ext, pan_starrs_i_odonnell_ext, pan_starrs_z_odonnell_ext, sdss_r01_odonnell_ext, 
subaru_hsc_z_odonnell_ext, blanco_decam_g_el_model1_odonnell_ext, blanco_decam_g_el_model3_odonnell_ext, 
blanco_decam_i_el_model1_odonnell_ext, blanco_decam_i_el_model3_odonnell_ext, blanco_decam_r_el_model1_odonnell_ext, 
blanco_decam_r_el_model3_odonnell_ext, blanco_decam_z_el_model1_odonnell_ext, blanco_decam_z_el_model3_odonnell_ext, 
gaia_bp_el_model1_odonnell_ext, gaia_bp_el_model3_odonnell_ext, gaia_g_el_model1_odonnell_ext, gaia_g_el_model3_odonnell_ext, 
gaia_rp_el_model1_odonnell_ext, gaia_rp_el_model3_odonnell_ext, subaru_hsc_z_el_model1_odonnell_ext, subaru_hsc_z_el_model3_odonnell_ext, 
jst_jpcam_g_el_model1_odonnell_ext, jst_jpcam_g_el_model3_odonnell_ext, kids_g_el_model1_odonnell_ext, kids_g_el_model3_odonnell_ext, 
kids_i_el_model1_odonnell_ext, kids_i_el_model3_odonnell_ext, kids_r_el_model1_odonnell_ext, kids_r_el_model3_odonnell_ext, 
kids_u_el_model1_odonnell_ext, kids_u_el_model3_odonnell_ext, lsst_g_el_model1_odonnell_ext, lsst_g_el_model3_odonnell_ext, 
lsst_i_el_model1_odonnell_ext, lsst_i_el_model3_odonnell_ext, lsst_r_el_model1_odonnell_ext, lsst_r_el_model3_odonnell_ext, 
lsst_u_el_model1_odonnell_ext, lsst_u_el_model3_odonnell_ext, lsst_y_el_model1_odonnell_ext, lsst_y_el_model3_odonnell_ext, 
lsst_z_el_model1_odonnell_ext, lsst_z_el_model3_odonnell_ext, cfht_megacam_r_el_model1_odonnell_ext, 
cfht_megacam_r_el_model3_odonnell_ext, cfht_megacam_u_el_model1_odonnell_ext, cfht_megacam_u_el_model3_odonnell_ext, 
pan_starrs_i_el_model1_odonnell_ext, pan_starrs_i_el_model3_odonnell_ext, pan_starrs_z_el_model1_odonnell_ext, 
pan_starrs_z_el_model3_odonnell_ext, euclid_nisp_h_el_model1_odonnell_ext, euclid_nisp_h_el_model3_odonnell_ext, 
euclid_nisp_j_el_model1_odonnell_ext, euclid_nisp_j_el_model3_odonnell_ext, euclid_nisp_y_el_model1_odonnell_ext, 
euclid_nisp_y_el_model3_odonnell_ext, euclid_vis_el_model1_odonnell_ext, euclid_vis_el_model3_odonnell_ext, 
2mass_h_el_model1_odonnell_ext, 2mass_h_el_model3_odonnell_ext, 2mass_j_el_model1_odonnell_ext, 2mass_j_el_model3_odonnell_ext,
2mass_ks_el_model1_odonnell_ext, 2mass_ks_el_model3_odonnell_ext, sdss_r01_el_model1_odonnell_ext, sdss_r01_el_model3_odonnell_ext, 
dominant_shape, bulge_angle, disk_angle, median_major_axis, scale_length, bulge_fraction, disk_scalelength, disk_nsersic, disk_r50, 
bulge_r50, bulge_nsersic, disk_ellipticity, bulge_ellipticity, disk_axis_ratio, bulge_axis_ratio, disk_inclination_angle,
bulge_inclination_angle, random_index, halo_id, galaxy_id, step
FROM cosmohub.flagship_mock_1_9_2_c

CREATE TABLE tallada.flagship_mock_1_9_2_s(
 `kind` bigint, 
 `luminosity_r01` double, 
 `halo_x` double, 
 `halo_y` double, 
 `halo_z` double, 
 `halo_vx` double, 
 `halo_vy` double, 
 `halo_vz` double, 
 `halo_r` double, 
 `true_redshift_halo` double, 
 `halo_lm` double, 
 `halo_n_sats` bigint, 
 `n_gals` bigint, 
 `abs_mag_r01` double, 
 `abs_mag_r01_evolved` double, 
 `luminosity_r01_evolved` double, 
 `gr_restframe` double, 
 `color_kind` int, 
 `x_gal` double, 
 `y_gal` double, 
 `z_gal` double, 
 `r_gal` double, 
 `true_redshift_gal` double, 
 `ra_gal` double, 
 `dec_gal` double, 
 `ra_mag_gal` double, 
 `dec_mag_gal` double, 
 `kappa` double,
 `gamma1` double,
 `gamma2` double,
 `hpix_29_nest` bigint, 
 `hpix_13_nest` bigint, 
 `vx_gal` double, 
 `vy_gal` double, 
 `vz_gal` double, 
 `vrad_gal` double, 
 `delta_r` double, 
 `observed_redshift_gal` double, 
 `sed_ke` double, 
 `gr_cosmos` double, 
 `sed_cosmos` double, 
 `ext_curve_cosmos` bigint, 
 `ebv_cosmos` double, 
 `is_within_cosmos` boolean, 
 `cosmos_distance` double, 
 `abs_mag_uv_dereddened` double, 
 `log_ml_r01` double, 
 `log_stellar_mass` double, 
 `metallicity` double, 
 `log_sfr` double, 
 `logf_halpha_ext` double, 
 `logf_halpha` double, 
 `halpha_scatter` double, 
 `loglum_halpha` double, 
 `loglum_halpha_ext` double, 
 `logf_dummy` double, 
 `z_dummy` double, 
 `logf_halpha_model1_ext` double, 
 `logf_halpha_model1` double, 
 `loglum_halpha_model1_ext` double, 
 `loglum_halpha_model1` double, 
 `logf_halpha_model3_ext` double, 
 `logf_halpha_model3` double, 
 `loglum_halpha_model3_ext` double, 
 `loglum_halpha_model3` double, 
 `logf_hbeta_model1_ext` double, 
 `logf_hbeta_model1` double, 
 `logf_o2_model1_ext` double, 
 `logf_o2_model1` double, 
 `logf_n2_model1_ext` double, 
 `logf_n2_model1` double, 
 `logf_o3_model1_ext` double, 
 `logf_o3_model1` double, 
 `logf_s2_model1_ext` double, 
 `logf_s2_model1` double, 
 `logf_hbeta_model3_ext` double, 
 `logf_hbeta_model3` double, 
 `logf_o2_model3_ext` double, 
 `logf_o2_model3` double, 
 `logf_n2_model3_ext` double, 
 `logf_n2_model3` double, 
 `logf_o3_model3_ext` double, 
 `logf_o3_model3` double, 
 `logf_s2_model3_ext` double, 
 `logf_s2_model3` double, 
 `blanco_decam_g` double, 
 `blanco_decam_i` double, 
 `blanco_decam_r` double, 
 `blanco_decam_z` double, 
 `gaia_bp` double, 
 `gaia_g` double, 
 `gaia_rp` double, 
 `subaru_hsc_z` double, 
 `jst_jpcam_g` double, 
 `kids_g` double, 
 `kids_i` double, 
 `kids_r` double, 
 `kids_u` double, 
 `lsst_g` double, 
 `lsst_i` double, 
 `lsst_r` double, 
 `lsst_u` double, 
 `lsst_y` double, 
 `lsst_z` double, 
 `cfht_megacam_r` double, 
 `cfht_megacam_u` double, 
 `pan_starrs_i` double, 
 `pan_starrs_z` double, 
 `euclid_nisp_h` double, 
 `euclid_nisp_j` double, 
 `euclid_nisp_y` double, 
 `euclid_vis` double, 
 `2mass_h` double, 
 `2mass_j` double, 
 `2mass_ks` double, 
 `sdss_r01` double, 
 `l_gal` double, 
 `b_gal` double, 
 `mw_extinction` double, 
 `2mass_h_odonnell_ext` double, 
 `2mass_j_odonnell_ext` double, 
 `2mass_ks_odonnell_ext` double, 
 `blanco_decam_g_odonnell_ext` double, 
 `blanco_decam_i_odonnell_ext` double, 
 `blanco_decam_r_odonnell_ext` double, 
 `blanco_decam_z_odonnell_ext` double, 
 `cfht_megacam_r_odonnell_ext` double, 
 `cfht_megacam_u_odonnell_ext` double, 
 `euclid_nisp_h_odonnell_ext` double, 
 `euclid_nisp_j_odonnell_ext` double, 
 `euclid_nisp_y_odonnell_ext` double, 
 `euclid_vis_odonnell_ext` double, 
 `gaia_bp_odonnell_ext` double, 
 `gaia_g_odonnell_ext` double, 
 `gaia_rp_odonnell_ext` double, 
 `jst_jpcam_g_odonnell_ext` double, 
 `kids_g_odonnell_ext` double, 
 `kids_i_odonnell_ext` double, 
 `kids_r_odonnell_ext` double, 
 `kids_u_odonnell_ext` double, 
 `lsst_g_odonnell_ext` double, 
 `lsst_i_odonnell_ext` double, 
 `lsst_r_odonnell_ext` double, 
 `lsst_u_odonnell_ext` double, 
 `lsst_y_odonnell_ext` double, 
 `lsst_z_odonnell_ext` double, 
 `pan_starrs_i_odonnell_ext` double, 
 `pan_starrs_z_odonnell_ext` double, 
 `sdss_r01_odonnell_ext` double, 
 `subaru_hsc_z_odonnell_ext` double, 
 `blanco_decam_g_el_model1_odonnell_ext` double, 
 `blanco_decam_g_el_model3_odonnell_ext` double, 
 `blanco_decam_i_el_model1_odonnell_ext` double, 
 `blanco_decam_i_el_model3_odonnell_ext` double, 
 `blanco_decam_r_el_model1_odonnell_ext` double, 
 `blanco_decam_r_el_model3_odonnell_ext` double, 
 `blanco_decam_z_el_model1_odonnell_ext` double, 
 `blanco_decam_z_el_model3_odonnell_ext` double, 
 `gaia_bp_el_model1_odonnell_ext` double, 
 `gaia_bp_el_model3_odonnell_ext` double, 
 `gaia_g_el_model1_odonnell_ext` double, 
 `gaia_g_el_model3_odonnell_ext` double, 
 `gaia_rp_el_model1_odonnell_ext` double, 
 `gaia_rp_el_model3_odonnell_ext` double, 
 `subaru_hsc_z_el_model1_odonnell_ext` double, 
 `subaru_hsc_z_el_model3_odonnell_ext` double, 
 `jst_jpcam_g_el_model1_odonnell_ext` double, 
 `jst_jpcam_g_el_model3_odonnell_ext` double, 
 `kids_g_el_model1_odonnell_ext` double, 
 `kids_g_el_model3_odonnell_ext` double, 
 `kids_i_el_model1_odonnell_ext` double, 
 `kids_i_el_model3_odonnell_ext` double, 
 `kids_r_el_model1_odonnell_ext` double, 
 `kids_r_el_model3_odonnell_ext` double, 
 `kids_u_el_model1_odonnell_ext` double, 
 `kids_u_el_model3_odonnell_ext` double, 
 `lsst_g_el_model1_odonnell_ext` double, 
 `lsst_g_el_model3_odonnell_ext` double, 
 `lsst_i_el_model1_odonnell_ext` double, 
 `lsst_i_el_model3_odonnell_ext` double, 
 `lsst_r_el_model1_odonnell_ext` double, 
 `lsst_r_el_model3_odonnell_ext` double, 
 `lsst_u_el_model1_odonnell_ext` double, 
 `lsst_u_el_model3_odonnell_ext` double, 
 `lsst_y_el_model1_odonnell_ext` double, 
 `lsst_y_el_model3_odonnell_ext` double, 
 `lsst_z_el_model1_odonnell_ext` double, 
 `lsst_z_el_model3_odonnell_ext` double, 
 `cfht_megacam_r_el_model1_odonnell_ext` double, 
 `cfht_megacam_r_el_model3_odonnell_ext` double, 
 `cfht_megacam_u_el_model1_odonnell_ext` double, 
 `cfht_megacam_u_el_model3_odonnell_ext` double, 
 `pan_starrs_i_el_model1_odonnell_ext` double, 
 `pan_starrs_i_el_model3_odonnell_ext` double, 
 `pan_starrs_z_el_model1_odonnell_ext` double, 
 `pan_starrs_z_el_model3_odonnell_ext` double, 
 `euclid_nisp_h_el_model1_odonnell_ext` double, 
 `euclid_nisp_h_el_model3_odonnell_ext` double, 
 `euclid_nisp_j_el_model1_odonnell_ext` double, 
 `euclid_nisp_j_el_model3_odonnell_ext` double, 
 `euclid_nisp_y_el_model1_odonnell_ext` double, 
 `euclid_nisp_y_el_model3_odonnell_ext` double, 
 `euclid_vis_el_model1_odonnell_ext` double, 
 `euclid_vis_el_model3_odonnell_ext` double, 
 `2mass_h_el_model1_odonnell_ext` double, 
 `2mass_h_el_model3_odonnell_ext` double, 
 `2mass_j_el_model1_odonnell_ext` double, 
 `2mass_j_el_model3_odonnell_ext` double, 
 `2mass_ks_el_model1_odonnell_ext` double, 
 `2mass_ks_el_model3_odonnell_ext` double, 
 `sdss_r01_el_model1_odonnell_ext` double, 
 `sdss_r01_el_model3_odonnell_ext` double, 
 `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)', 
 `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', 
 `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', 
 `scale_length` double COMMENT 'disc and bulge scalelength prior', 
 `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', 
 `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', 
 `disk_nsersic` double COMMENT 'Sersic index of the disk component', 
 `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', 
 `bulge_r50` double COMMENT 'half light radius of the bulge', 
 `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', 
 `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as  disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', 
 `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as  bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', 
 `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', 
 `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', 
 `disk_inclination_angle` double COMMENT , 
 `bulge_inclination_angle` double COMMENT , 
 `random_index` double, 
 `halo_id` bigint, 
 `galaxy_id` bigint
)
PARTITIONED BY (
 `step` smallint
)
CLUSTERED BY (
 hpix_13_nest
)
SORTED BY (
 hpix_13_nest ASC
)
INTO 128 BUCKETS
STORED AS ORC
;

cat << EOF > lensing_step.sql
SET hive.auto.convert.join.noconditionaltask.size=1;
INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_s PARTITION (step=${STEP})
SELECT
 m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm,
 m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal,
 m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, magpos.ra_mag, magpos.dec_mag, m.kappa, m.gamma1, m.gamma2,
 m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos, 
 m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01,
 m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha, m.loglum_halpha_ext, 
 m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext, m.loglum_halpha_model1, 
 m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3, m.logf_hbeta_model1_ext, 
 m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1, m.logf_o3_model1_ext, 
 m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3, m.logf_o2_model3_ext, 
 m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3, m.logf_s2_model3_ext,
 m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g, m.gaia_rp, 
 m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y, m.lsst_z, 
 m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y, m.euclid_vis, 
 m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext, m.2mass_j_odonnell_ext, 
 m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext, m.blanco_decam_r_odonnell_ext, 
 m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext, m.euclid_nisp_h_odonnell_ext, 
 m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext, m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext, 
 m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext, m.kids_i_odonnell_ext, m.kids_r_odonnell_ext, 
 m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext, m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext, 
 m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext, m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext, 
 m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext, m.blanco_decam_g_el_model3_odonnell_ext, 
 m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext, m.blanco_decam_r_el_model1_odonnell_ext, 
 m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext, m.blanco_decam_z_el_model3_odonnell_ext,
 m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext, m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext, 
 m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext, m.subaru_hsc_z_el_model1_odonnell_ext, 
 m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext, m.jst_jpcam_g_el_model3_odonnell_ext,
 m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext, m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext, 
 m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext, m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext, 
 m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext, m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext,
 m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext, m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext, 
 m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext, m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext, 
 m.cfht_megacam_r_el_model1_odonnell_ext, m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext,
 m.cfht_megacam_u_el_model3_odonnell_ext, m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext, 
 m.pan_starrs_z_el_model1_odonnell_ext, m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext, 
 m.euclid_nisp_h_el_model3_odonnell_ext, m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext, 
 m.euclid_nisp_y_el_model1_odonnell_ext, m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext, 
 m.euclid_vis_el_model3_odonnell_ext, m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext, 
 m.2mass_j_el_model1_odonnell_ext, m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext, 
 m.2mass_ks_el_model3_odonnell_ext, m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape, 
 m.bulge_angle, m.disk_angle, m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50,
 m.bulge_r50, m.bulge_nsersic, m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle, 
 m.bulge_inclination_angle, m.random_index, m.halo_id, m.galaxy_id
FROM (
 SELECT 
   m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm, 
   m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal, 
   m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, l.defl_0 as kappa, l.shear_1 as gamma1, l.shear_2 as gamma2,
   m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos, 
   m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01, 
   m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha, 
   m.loglum_halpha_ext, m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext, 
   m.loglum_halpha_model1, m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3, 
   m.logf_hbeta_model1_ext, m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1,
   m.logf_o3_model1_ext, m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3, 
   m.logf_o2_model3_ext, m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3, 
   m.logf_s2_model3_ext, m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g, 
   m.gaia_rp, m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y, 
   m.lsst_z, m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y, 
   m.euclid_vis, m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext, 
   m.2mass_j_odonnell_ext, m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext, 
   m.blanco_decam_r_odonnell_ext, m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext,
   m.euclid_nisp_h_odonnell_ext, m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext, 
   m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext, m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext, 
   m.kids_i_odonnell_ext, m.kids_r_odonnell_ext, m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext, 
   m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext, m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext, 
   m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext, m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext, 
   m.blanco_decam_g_el_model3_odonnell_ext, m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext, 
   m.blanco_decam_r_el_model1_odonnell_ext, m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext, 
   m.blanco_decam_z_el_model3_odonnell_ext, m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext,
   m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext, m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext, 
   m.subaru_hsc_z_el_model1_odonnell_ext, m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext, 
   m.jst_jpcam_g_el_model3_odonnell_ext, m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext,
   m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext, m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext, 
   m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext, m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext, 
   m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext, m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext,
   m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext, m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext, 
   m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext, m.cfht_megacam_r_el_model1_odonnell_ext, 
   m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext, m.cfht_megacam_u_el_model3_odonnell_ext, 
   m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext, m.pan_starrs_z_el_model1_odonnell_ext, 
   m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext, m.euclid_nisp_h_el_model3_odonnell_ext,
   m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext, m.euclid_nisp_y_el_model1_odonnell_ext, 
   m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext, m.euclid_vis_el_model3_odonnell_ext, 
   m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext, m.2mass_j_el_model1_odonnell_ext, 
   m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext, m.2mass_ks_el_model3_odonnell_ext, 
   m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape, m.bulge_angle, m.disk_angle, 
   m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50, m.bulge_r50, m.bulge_nsersic, 
   m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle, m.bulge_inclination_angle, 
   m.random_index, m.halo_id, m.galaxy_id,
   udf.magnified_positions(CAST(m.ra_gal AS FLOAT), CAST(m.dec_gal AS FLOAT), l.defl_1, l.defl_2) AS magpos
 FROM tallada.flagship_mock_1_9_2_c2 AS m
 JOIN cosmohub.flagship_lensing AS l
   ON udf.ang2pix(13, m.ra_gal, m.dec_gal, True, True) = l.hpix
   AND m.step = l.step
   AND l.step=${STEP} AND m.step=${STEP}
) AS m
;

for STEP in $(seq 344 400);
do
  echo $STEP
  sem -j4 "beeline --color=true --showHeader=true --verbose=true --silent=false -u \
'jdbc:hive2://ambarisrv02.pic.es:2181,ambarisrv03.pic.es:2181,ambarisrv01.pic.es:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' \
  -f lensing_step.sql --hivevar STEP=${STEP}"
done
sem --wait
Retrieved from "http://pwiki.pic.es/index.php?title=Euclid_mock_production_v1.9.2&oldid=822"