Difference between revisions of "Euclid mock production v1.9.2"
Jump to navigation
Jump to search
| (2 intermediate revisions by the same user not shown) | |||
| Line 1,119: | Line 1,119: | ||
do | do | ||
echo $STEP | echo $STEP | ||
| − | sem -j4 "beeline --color=true --showHeader=true --verbose=true --silent=false -u 'jdbc:hive2://ambarisrv02.pic.es:2181,ambarisrv03.pic.es:2181,ambarisrv01.pic.es:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' -f lensing_step.sql --hivevar STEP=${STEP}" | + | sem -j4 "beeline --color=true --showHeader=true --verbose=true --silent=false -u \ |
| + | 'jdbc:hive2://ambarisrv02.pic.es:2181,ambarisrv03.pic.es:2181,ambarisrv01.pic.es:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' \ | ||
| + | -f lensing_step.sql --hivevar STEP=${STEP}" | ||
done | done | ||
sem --wait | sem --wait | ||
Latest revision as of 08:03, 14 July 2020
CREATE EXTERNAL TABLE `flagship_1_9_2`( `kind` bigint, `luminosity_r01` double, `halo_x` double, `halo_y` double, `halo_z` double, `halo_vx` double, `halo_vy` double, `halo_vz` double, `halo_r` double, `true_redshift_halo` double, `halo_lm` double, `halo_n_sats` bigint, `n_gals` bigint, `abs_mag_r01` double, `abs_mag_r01_evolved` double, `luminosity_r01_evolved` double, `gr_restframe` double, `color_kind` int, `x_gal` double, `y_gal` double, `z_gal` double, `r_gal` double, `true_redshift_gal` double, `ra_gal` double, `dec_gal` double, `hpix_nest` bigint, `vx_gal` double, `vy_gal` double, `vz_gal` double, `vrad_gal` double, `delta_r` double, `observed_redshift_gal` double, `sed_ke` double, `gr_cosmos` double, `sed_cosmos` double, `ext_curve_cosmos` bigint, `ebv_cosmos` double, `is_within_cosmos` boolean, `cosmos_distance` double, `abs_mag_uv_dereddened` double, `log_ml_r01` double, `log_stellar_mass` double, `metallicity` double, `log_sfr` double, `logf_halpha_ext` double, `logf_halpha` double, `halpha_scatter` double, `loglum_halpha` double, `loglum_halpha_ext` double, `logf_dummy` double, `z_dummy` double, `logf_halpha_model1_ext` double, `logf_halpha_model1` double, `loglum_halpha_model1_ext` double, `loglum_halpha_model1` double, `logf_halpha_model3_ext` double, `logf_halpha_model3` double, `loglum_halpha_model3_ext` double, `loglum_halpha_model3` double, `logf_hbeta_model1_ext` double, `logf_hbeta_model1` double, `logf_o2_model1_ext` double, `logf_o2_model1` double, `logf_n2_model1_ext` double, `logf_n2_model1` double, `logf_o3_model1_ext` double, `logf_o3_model1` double, `logf_s2_model1_ext` double, `logf_s2_model1` double, `logf_hbeta_model3_ext` double, `logf_hbeta_model3` double, `logf_o2_model3_ext` double, `logf_o2_model3` double, `logf_n2_model3_ext` double, `logf_n2_model3` double, `logf_o3_model3_ext` double, `logf_o3_model3` double, `logf_s2_model3_ext` double, `logf_s2_model3` double, `blanco_decam_g` double, `blanco_decam_i` double, `blanco_decam_r` double, `blanco_decam_z` double, `gaia_bp` double, `gaia_g` double, `gaia_rp` double, `subaru_hsc_z` double, `jst_jpcam_g` double, `kids_g` double, `kids_i` double, `kids_r` double, `kids_u` double, `lsst_g` double, `lsst_i` double, `lsst_r` double, `lsst_u` double, `lsst_y` double, `lsst_z` double, `cfht_megacam_r` double, `cfht_megacam_u` double, `pan_starrs_i` double, `pan_starrs_z` double, `euclid_nisp_h` double, `euclid_nisp_j` double, `euclid_nisp_y` double, `euclid_vis` double, `2mass_h` double, `2mass_j` double, `2mass_ks` double, `sdss_r01` double, `l_gal` double, `b_gal` double, `mw_extinction` double, `2mass_h_odonnell_ext` double, `2mass_j_odonnell_ext` double, `2mass_ks_odonnell_ext` double, `blanco_decam_g_odonnell_ext` double, `blanco_decam_i_odonnell_ext` double, `blanco_decam_r_odonnell_ext` double, `blanco_decam_z_odonnell_ext` double, `cfht_megacam_r_odonnell_ext` double, `cfht_megacam_u_odonnell_ext` double, `euclid_nisp_h_odonnell_ext` double, `euclid_nisp_j_odonnell_ext` double, `euclid_nisp_y_odonnell_ext` double, `euclid_vis_odonnell_ext` double, `gaia_bp_odonnell_ext` double, `gaia_g_odonnell_ext` double, `gaia_rp_odonnell_ext` double, `jst_jpcam_g_odonnell_ext` double, `kids_g_odonnell_ext` double, `kids_i_odonnell_ext` double, `kids_r_odonnell_ext` double, `kids_u_odonnell_ext` double, `lsst_g_odonnell_ext` double, `lsst_i_odonnell_ext` double, `lsst_r_odonnell_ext` double, `lsst_u_odonnell_ext` double, `lsst_y_odonnell_ext` double, `lsst_z_odonnell_ext` double, `pan_starrs_i_odonnell_ext` double, `pan_starrs_z_odonnell_ext` double, `sdss_r01_odonnell_ext` double, `subaru_hsc_z_odonnell_ext` double, `blanco_decam_g_el_model1_odonnell_ext` double, `blanco_decam_g_el_model3_odonnell_ext` double, `blanco_decam_i_el_model1_odonnell_ext` double, `blanco_decam_i_el_model3_odonnell_ext` double, `blanco_decam_r_el_model1_odonnell_ext` double, `blanco_decam_r_el_model3_odonnell_ext` double, `blanco_decam_z_el_model1_odonnell_ext` double, `blanco_decam_z_el_model3_odonnell_ext` double, `gaia_bp_el_model1_odonnell_ext` double, `gaia_bp_el_model3_odonnell_ext` double, `gaia_g_el_model1_odonnell_ext` double, `gaia_g_el_model3_odonnell_ext` double, `gaia_rp_el_model1_odonnell_ext` double, `gaia_rp_el_model3_odonnell_ext` double, `subaru_hsc_z_el_model1_odonnell_ext` double, `subaru_hsc_z_el_model3_odonnell_ext` double, `jst_jpcam_g_el_model1_odonnell_ext` double, `jst_jpcam_g_el_model3_odonnell_ext` double, `kids_g_el_model1_odonnell_ext` double, `kids_g_el_model3_odonnell_ext` double, `kids_i_el_model1_odonnell_ext` double, `kids_i_el_model3_odonnell_ext` double, `kids_r_el_model1_odonnell_ext` double, `kids_r_el_model3_odonnell_ext` double, `kids_u_el_model1_odonnell_ext` double, `kids_u_el_model3_odonnell_ext` double, `lsst_g_el_model1_odonnell_ext` double, `lsst_g_el_model3_odonnell_ext` double, `lsst_i_el_model1_odonnell_ext` double, `lsst_i_el_model3_odonnell_ext` double, `lsst_r_el_model1_odonnell_ext` double, `lsst_r_el_model3_odonnell_ext` double, `lsst_u_el_model1_odonnell_ext` double, `lsst_u_el_model3_odonnell_ext` double, `lsst_y_el_model1_odonnell_ext` double, `lsst_y_el_model3_odonnell_ext` double, `lsst_z_el_model1_odonnell_ext` double, `lsst_z_el_model3_odonnell_ext` double, `cfht_megacam_r_el_model1_odonnell_ext` double, `cfht_megacam_r_el_model3_odonnell_ext` double, `cfht_megacam_u_el_model1_odonnell_ext` double, `cfht_megacam_u_el_model3_odonnell_ext` double, `pan_starrs_i_el_model1_odonnell_ext` double, `pan_starrs_i_el_model3_odonnell_ext` double, `pan_starrs_z_el_model1_odonnell_ext` double, `pan_starrs_z_el_model3_odonnell_ext` double, `euclid_nisp_h_el_model1_odonnell_ext` double, `euclid_nisp_h_el_model3_odonnell_ext` double, `euclid_nisp_j_el_model1_odonnell_ext` double, `euclid_nisp_j_el_model3_odonnell_ext` double, `euclid_nisp_y_el_model1_odonnell_ext` double, `euclid_nisp_y_el_model3_odonnell_ext` double, `euclid_vis_el_model1_odonnell_ext` double, `euclid_vis_el_model3_odonnell_ext` double, `2mass_h_el_model1_odonnell_ext` double, `2mass_h_el_model3_odonnell_ext` double, `2mass_j_el_model1_odonnell_ext` double, `2mass_j_el_model3_odonnell_ext` double, `2mass_ks_el_model1_odonnell_ext` double, `2mass_ks_el_model3_odonnell_ext` double, `sdss_r01_el_model1_odonnell_ext` double, `sdss_r01_el_model3_odonnell_ext` double, `dominant_shape` bigint, `bulge_angle` double, `disk_angle` double, `median_major_axis` double, `scale_length` double, `bulge_fraction` double, `disk_scalelength` double, `disk_nsersic` double, `disk_r50` double, `bulge_r50` double, `bulge_nsersic` double, `disk_ellipticity` double, `bulge_ellipticity` double, `disk_axis_ratio` double, `bulge_axis_ratio` double, `disk_inclination_angle` double, `bulge_inclination_angle` double, `step` bigint, `random_index` double, `halo_id` bigint, `galaxy_id` bigint) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' ;
CREATE TABLE flagship_mock_1_9_2_c( `kind` bigint, `luminosity_r01` double, `halo_x` double, `halo_y` double, `halo_z` double, `halo_vx` double, `halo_vy` double, `halo_vz` double, `halo_r` double, `true_redshift_halo` double, `halo_lm` double, `halo_n_sats` bigint, `n_gals` bigint, `abs_mag_r01` double, `abs_mag_r01_evolved` double, `luminosity_r01_evolved` double, `gr_restframe` double, `color_kind` int, `x_gal` double, `y_gal` double, `z_gal` double, `r_gal` double, `true_redshift_gal` double, `ra_gal` double, `dec_gal` double, `hpix_nest` bigint, `vx_gal` double, `vy_gal` double, `vz_gal` double, `vrad_gal` double, `delta_r` double, `observed_redshift_gal` double, `sed_ke` double, `gr_cosmos` double, `sed_cosmos` double, `ext_curve_cosmos` bigint, `ebv_cosmos` double, `is_within_cosmos` boolean, `cosmos_distance` double, `abs_mag_uv_dereddened` double, `log_ml_r01` double, `log_stellar_mass` double, `metallicity` double, `log_sfr` double, `logf_halpha_ext` double, `logf_halpha` double, `halpha_scatter` double, `loglum_halpha` double, `loglum_halpha_ext` double, `logf_dummy` double, `z_dummy` double, `logf_halpha_model1_ext` double, `logf_halpha_model1` double, `loglum_halpha_model1_ext` double, `loglum_halpha_model1` double, `logf_halpha_model3_ext` double, `logf_halpha_model3` double, `loglum_halpha_model3_ext` double, `loglum_halpha_model3` double, `logf_hbeta_model1_ext` double, `logf_hbeta_model1` double, `logf_o2_model1_ext` double, `logf_o2_model1` double, `logf_n2_model1_ext` double, `logf_n2_model1` double, `logf_o3_model1_ext` double, `logf_o3_model1` double, `logf_s2_model1_ext` double, `logf_s2_model1` double, `logf_hbeta_model3_ext` double, `logf_hbeta_model3` double, `logf_o2_model3_ext` double, `logf_o2_model3` double, `logf_n2_model3_ext` double, `logf_n2_model3` double, `logf_o3_model3_ext` double, `logf_o3_model3` double, `logf_s2_model3_ext` double, `logf_s2_model3` double, `blanco_decam_g` double, `blanco_decam_i` double, `blanco_decam_r` double, `blanco_decam_z` double, `gaia_bp` double, `gaia_g` double, `gaia_rp` double, `subaru_hsc_z` double, `jst_jpcam_g` double, `kids_g` double, `kids_i` double, `kids_r` double, `kids_u` double, `lsst_g` double, `lsst_i` double, `lsst_r` double, `lsst_u` double, `lsst_y` double, `lsst_z` double, `cfht_megacam_r` double, `cfht_megacam_u` double, `pan_starrs_i` double, `pan_starrs_z` double, `euclid_nisp_h` double, `euclid_nisp_j` double, `euclid_nisp_y` double, `euclid_vis` double, `2mass_h` double, `2mass_j` double, `2mass_ks` double, `sdss_r01` double, `l_gal` double, `b_gal` double, `mw_extinction` double, `2mass_h_odonnell_ext` double, `2mass_j_odonnell_ext` double, `2mass_ks_odonnell_ext` double, `blanco_decam_g_odonnell_ext` double, `blanco_decam_i_odonnell_ext` double, `blanco_decam_r_odonnell_ext` double, `blanco_decam_z_odonnell_ext` double, `cfht_megacam_r_odonnell_ext` double, `cfht_megacam_u_odonnell_ext` double, `euclid_nisp_h_odonnell_ext` double, `euclid_nisp_j_odonnell_ext` double, `euclid_nisp_y_odonnell_ext` double, `euclid_vis_odonnell_ext` double, `gaia_bp_odonnell_ext` double, `gaia_g_odonnell_ext` double, `gaia_rp_odonnell_ext` double, `jst_jpcam_g_odonnell_ext` double, `kids_g_odonnell_ext` double, `kids_i_odonnell_ext` double, `kids_r_odonnell_ext` double, `kids_u_odonnell_ext` double, `lsst_g_odonnell_ext` double, `lsst_i_odonnell_ext` double, `lsst_r_odonnell_ext` double, `lsst_u_odonnell_ext` double, `lsst_y_odonnell_ext` double, `lsst_z_odonnell_ext` double, `pan_starrs_i_odonnell_ext` double, `pan_starrs_z_odonnell_ext` double, `sdss_r01_odonnell_ext` double, `subaru_hsc_z_odonnell_ext` double, `blanco_decam_g_el_model1_odonnell_ext` double, `blanco_decam_g_el_model3_odonnell_ext` double, `blanco_decam_i_el_model1_odonnell_ext` double, `blanco_decam_i_el_model3_odonnell_ext` double, `blanco_decam_r_el_model1_odonnell_ext` double, `blanco_decam_r_el_model3_odonnell_ext` double, `blanco_decam_z_el_model1_odonnell_ext` double, `blanco_decam_z_el_model3_odonnell_ext` double, `gaia_bp_el_model1_odonnell_ext` double, `gaia_bp_el_model3_odonnell_ext` double, `gaia_g_el_model1_odonnell_ext` double, `gaia_g_el_model3_odonnell_ext` double, `gaia_rp_el_model1_odonnell_ext` double, `gaia_rp_el_model3_odonnell_ext` double, `subaru_hsc_z_el_model1_odonnell_ext` double, `subaru_hsc_z_el_model3_odonnell_ext` double, `jst_jpcam_g_el_model1_odonnell_ext` double, `jst_jpcam_g_el_model3_odonnell_ext` double, `kids_g_el_model1_odonnell_ext` double, `kids_g_el_model3_odonnell_ext` double, `kids_i_el_model1_odonnell_ext` double, `kids_i_el_model3_odonnell_ext` double, `kids_r_el_model1_odonnell_ext` double, `kids_r_el_model3_odonnell_ext` double, `kids_u_el_model1_odonnell_ext` double, `kids_u_el_model3_odonnell_ext` double, `lsst_g_el_model1_odonnell_ext` double, `lsst_g_el_model3_odonnell_ext` double, `lsst_i_el_model1_odonnell_ext` double, `lsst_i_el_model3_odonnell_ext` double, `lsst_r_el_model1_odonnell_ext` double, `lsst_r_el_model3_odonnell_ext` double, `lsst_u_el_model1_odonnell_ext` double, `lsst_u_el_model3_odonnell_ext` double, `lsst_y_el_model1_odonnell_ext` double, `lsst_y_el_model3_odonnell_ext` double, `lsst_z_el_model1_odonnell_ext` double, `lsst_z_el_model3_odonnell_ext` double, `cfht_megacam_r_el_model1_odonnell_ext` double, `cfht_megacam_r_el_model3_odonnell_ext` double, `cfht_megacam_u_el_model1_odonnell_ext` double, `cfht_megacam_u_el_model3_odonnell_ext` double, `pan_starrs_i_el_model1_odonnell_ext` double, `pan_starrs_i_el_model3_odonnell_ext` double, `pan_starrs_z_el_model1_odonnell_ext` double, `pan_starrs_z_el_model3_odonnell_ext` double, `euclid_nisp_h_el_model1_odonnell_ext` double, `euclid_nisp_h_el_model3_odonnell_ext` double, `euclid_nisp_j_el_model1_odonnell_ext` double, `euclid_nisp_j_el_model3_odonnell_ext` double, `euclid_nisp_y_el_model1_odonnell_ext` double, `euclid_nisp_y_el_model3_odonnell_ext` double, `euclid_vis_el_model1_odonnell_ext` double, `euclid_vis_el_model3_odonnell_ext` double, `2mass_h_el_model1_odonnell_ext` double, `2mass_h_el_model3_odonnell_ext` double, `2mass_j_el_model1_odonnell_ext` double, `2mass_j_el_model3_odonnell_ext` double, `2mass_ks_el_model1_odonnell_ext` double, `2mass_ks_el_model3_odonnell_ext` double, `sdss_r01_el_model1_odonnell_ext` double, `sdss_r01_el_model3_odonnell_ext` double, `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)', `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', `scale_length` double COMMENT 'disc and bulge scalelength prior', `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', `disk_nsersic` double COMMENT 'Sersic index of the disk component', `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', `bulge_r50` double COMMENT 'half light radius of the bulge', `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `disk_inclination_angle` double COMMENT , `bulge_inclination_angle` double COMMENT , `step` bigint, `random_index` double, `halo_id` bigint, `galaxy_id` bigint ) CLUSTERED BY ( halo_id, galaxy_id ) INTO 128 BUCKETS ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' ;
INSERT OVERWRITE TABLE cosmohub.flagship_mock_1_9_2_c SELECT * FROM tallada.flagship_1_9_2;
ANALYZE TABLE cosmohub.flagship_mock_1_9_2_c COMPUTE STATISTICS FOR COLUMNS;
CREATE TABLE tallada.flagship_mock_1_9_2_c2( `kind` bigint, `luminosity_r01` double, `halo_x` double, `halo_y` double, `halo_z` double, `halo_vx` double, `halo_vy` double, `halo_vz` double, `halo_r` double, `true_redshift_halo` double, `halo_lm` double, `halo_n_sats` bigint, `n_gals` bigint, `abs_mag_r01` double, `abs_mag_r01_evolved` double, `luminosity_r01_evolved` double, `gr_restframe` double, `color_kind` int, `x_gal` double, `y_gal` double, `z_gal` double, `r_gal` double, `true_redshift_gal` double, `ra_gal` double, `dec_gal` double, `hpix_29_nest` bigint, `hpix_13_nest` bigint, `vx_gal` double, `vy_gal` double, `vz_gal` double, `vrad_gal` double, `delta_r` double, `observed_redshift_gal` double, `sed_ke` double, `gr_cosmos` double, `sed_cosmos` double, `ext_curve_cosmos` bigint, `ebv_cosmos` double, `is_within_cosmos` boolean, `cosmos_distance` double, `abs_mag_uv_dereddened` double, `log_ml_r01` double, `log_stellar_mass` double, `metallicity` double, `log_sfr` double, `logf_halpha_ext` double, `logf_halpha` double, `halpha_scatter` double, `loglum_halpha` double, `loglum_halpha_ext` double, `logf_dummy` double, `z_dummy` double, `logf_halpha_model1_ext` double, `logf_halpha_model1` double, `loglum_halpha_model1_ext` double, `loglum_halpha_model1` double, `logf_halpha_model3_ext` double, `logf_halpha_model3` double, `loglum_halpha_model3_ext` double, `loglum_halpha_model3` double, `logf_hbeta_model1_ext` double, `logf_hbeta_model1` double, `logf_o2_model1_ext` double, `logf_o2_model1` double, `logf_n2_model1_ext` double, `logf_n2_model1` double, `logf_o3_model1_ext` double, `logf_o3_model1` double, `logf_s2_model1_ext` double, `logf_s2_model1` double, `logf_hbeta_model3_ext` double, `logf_hbeta_model3` double, `logf_o2_model3_ext` double, `logf_o2_model3` double, `logf_n2_model3_ext` double, `logf_n2_model3` double, `logf_o3_model3_ext` double, `logf_o3_model3` double, `logf_s2_model3_ext` double, `logf_s2_model3` double, `blanco_decam_g` double, `blanco_decam_i` double, `blanco_decam_r` double, `blanco_decam_z` double, `gaia_bp` double, `gaia_g` double, `gaia_rp` double, `subaru_hsc_z` double, `jst_jpcam_g` double, `kids_g` double, `kids_i` double, `kids_r` double, `kids_u` double, `lsst_g` double, `lsst_i` double, `lsst_r` double, `lsst_u` double, `lsst_y` double, `lsst_z` double, `cfht_megacam_r` double, `cfht_megacam_u` double, `pan_starrs_i` double, `pan_starrs_z` double, `euclid_nisp_h` double, `euclid_nisp_j` double, `euclid_nisp_y` double, `euclid_vis` double, `2mass_h` double, `2mass_j` double, `2mass_ks` double, `sdss_r01` double, `l_gal` double, `b_gal` double, `mw_extinction` double, `2mass_h_odonnell_ext` double, `2mass_j_odonnell_ext` double, `2mass_ks_odonnell_ext` double, `blanco_decam_g_odonnell_ext` double, `blanco_decam_i_odonnell_ext` double, `blanco_decam_r_odonnell_ext` double, `blanco_decam_z_odonnell_ext` double, `cfht_megacam_r_odonnell_ext` double, `cfht_megacam_u_odonnell_ext` double, `euclid_nisp_h_odonnell_ext` double, `euclid_nisp_j_odonnell_ext` double, `euclid_nisp_y_odonnell_ext` double, `euclid_vis_odonnell_ext` double, `gaia_bp_odonnell_ext` double, `gaia_g_odonnell_ext` double, `gaia_rp_odonnell_ext` double, `jst_jpcam_g_odonnell_ext` double, `kids_g_odonnell_ext` double, `kids_i_odonnell_ext` double, `kids_r_odonnell_ext` double, `kids_u_odonnell_ext` double, `lsst_g_odonnell_ext` double, `lsst_i_odonnell_ext` double, `lsst_r_odonnell_ext` double, `lsst_u_odonnell_ext` double, `lsst_y_odonnell_ext` double, `lsst_z_odonnell_ext` double, `pan_starrs_i_odonnell_ext` double, `pan_starrs_z_odonnell_ext` double, `sdss_r01_odonnell_ext` double, `subaru_hsc_z_odonnell_ext` double, `blanco_decam_g_el_model1_odonnell_ext` double, `blanco_decam_g_el_model3_odonnell_ext` double, `blanco_decam_i_el_model1_odonnell_ext` double, `blanco_decam_i_el_model3_odonnell_ext` double, `blanco_decam_r_el_model1_odonnell_ext` double, `blanco_decam_r_el_model3_odonnell_ext` double, `blanco_decam_z_el_model1_odonnell_ext` double, `blanco_decam_z_el_model3_odonnell_ext` double, `gaia_bp_el_model1_odonnell_ext` double, `gaia_bp_el_model3_odonnell_ext` double, `gaia_g_el_model1_odonnell_ext` double, `gaia_g_el_model3_odonnell_ext` double, `gaia_rp_el_model1_odonnell_ext` double, `gaia_rp_el_model3_odonnell_ext` double, `subaru_hsc_z_el_model1_odonnell_ext` double, `subaru_hsc_z_el_model3_odonnell_ext` double, `jst_jpcam_g_el_model1_odonnell_ext` double, `jst_jpcam_g_el_model3_odonnell_ext` double, `kids_g_el_model1_odonnell_ext` double, `kids_g_el_model3_odonnell_ext` double, `kids_i_el_model1_odonnell_ext` double, `kids_i_el_model3_odonnell_ext` double, `kids_r_el_model1_odonnell_ext` double, `kids_r_el_model3_odonnell_ext` double, `kids_u_el_model1_odonnell_ext` double, `kids_u_el_model3_odonnell_ext` double, `lsst_g_el_model1_odonnell_ext` double, `lsst_g_el_model3_odonnell_ext` double, `lsst_i_el_model1_odonnell_ext` double, `lsst_i_el_model3_odonnell_ext` double, `lsst_r_el_model1_odonnell_ext` double, `lsst_r_el_model3_odonnell_ext` double, `lsst_u_el_model1_odonnell_ext` double, `lsst_u_el_model3_odonnell_ext` double, `lsst_y_el_model1_odonnell_ext` double, `lsst_y_el_model3_odonnell_ext` double, `lsst_z_el_model1_odonnell_ext` double, `lsst_z_el_model3_odonnell_ext` double, `cfht_megacam_r_el_model1_odonnell_ext` double, `cfht_megacam_r_el_model3_odonnell_ext` double, `cfht_megacam_u_el_model1_odonnell_ext` double, `cfht_megacam_u_el_model3_odonnell_ext` double, `pan_starrs_i_el_model1_odonnell_ext` double, `pan_starrs_i_el_model3_odonnell_ext` double, `pan_starrs_z_el_model1_odonnell_ext` double, `pan_starrs_z_el_model3_odonnell_ext` double, `euclid_nisp_h_el_model1_odonnell_ext` double, `euclid_nisp_h_el_model3_odonnell_ext` double, `euclid_nisp_j_el_model1_odonnell_ext` double, `euclid_nisp_j_el_model3_odonnell_ext` double, `euclid_nisp_y_el_model1_odonnell_ext` double, `euclid_nisp_y_el_model3_odonnell_ext` double, `euclid_vis_el_model1_odonnell_ext` double, `euclid_vis_el_model3_odonnell_ext` double, `2mass_h_el_model1_odonnell_ext` double, `2mass_h_el_model3_odonnell_ext` double, `2mass_j_el_model1_odonnell_ext` double, `2mass_j_el_model3_odonnell_ext` double, `2mass_ks_el_model1_odonnell_ext` double, `2mass_ks_el_model3_odonnell_ext` double, `sdss_r01_el_model1_odonnell_ext` double, `sdss_r01_el_model3_odonnell_ext` double, `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)', `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', `scale_length` double COMMENT 'disc and bulge scalelength prior', `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', `disk_nsersic` double COMMENT 'Sersic index of the disk component', `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', `bulge_r50` double COMMENT 'half light radius of the bulge', `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `disk_inclination_angle` double COMMENT , `bulge_inclination_angle` double COMMENT , `random_index` double, `halo_id` bigint, `galaxy_id` bigint ) PARTITIONED BY ( `step` smallint ) CLUSTERED BY ( hpix_13_nest ) SORTED BY ( hpix_13_nest ASC ) INTO 128 BUCKETS STORED AS ORC ;
INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_c2 SELECT kind, luminosity_r01, halo_x, halo_y, halo_z, halo_vx, halo_vy, halo_vz, halo_r, true_redshift_halo, halo_lm, halo_n_sats, n_gals, abs_mag_r01, abs_mag_r01_evolved, luminosity_r01_evolved, gr_restframe, color_kind, x_gal, y_gal, z_gal, r_gal, true_redshift_gal, ra_gal, dec_gal, hpix_nest, SHIFTRIGHT(hpix_nest, (29-13)*2), vx_gal, vy_gal, vz_gal, vrad_gal, delta_r, observed_redshift_gal, sed_ke, gr_cosmos, sed_cosmos, ext_curve_cosmos, ebv_cosmos, is_within_cosmos, cosmos_distance, abs_mag_uv_dereddened, log_ml_r01, log_stellar_mass, metallicity, log_sfr, logf_halpha_ext, logf_halpha, halpha_scatter, loglum_halpha, loglum_halpha_ext, logf_dummy, z_dummy, logf_halpha_model1_ext, logf_halpha_model1, loglum_halpha_model1_ext, loglum_halpha_model1, logf_halpha_model3_ext, logf_halpha_model3, loglum_halpha_model3_ext, loglum_halpha_model3, logf_hbeta_model1_ext, logf_hbeta_model1, logf_o2_model1_ext, logf_o2_model1, logf_n2_model1_ext, logf_n2_model1, logf_o3_model1_ext, logf_o3_model1, logf_s2_model1_ext, logf_s2_model1, logf_hbeta_model3_ext, logf_hbeta_model3, logf_o2_model3_ext, logf_o2_model3, logf_n2_model3_ext, logf_n2_model3, logf_o3_model3_ext, logf_o3_model3, logf_s2_model3_ext, logf_s2_model3, blanco_decam_g, blanco_decam_i, blanco_decam_r, blanco_decam_z, gaia_bp, gaia_g, gaia_rp, subaru_hsc_z, jst_jpcam_g, kids_g, kids_i, kids_r, kids_u, lsst_g, lsst_i, lsst_r, lsst_u, lsst_y, lsst_z, cfht_megacam_r, cfht_megacam_u, pan_starrs_i, pan_starrs_z, euclid_nisp_h, euclid_nisp_j, euclid_nisp_y, euclid_vis, 2mass_h, 2mass_j, 2mass_ks, sdss_r01, l_gal, b_gal, mw_extinction, 2mass_h_odonnell_ext, 2mass_j_odonnell_ext, 2mass_ks_odonnell_ext, blanco_decam_g_odonnell_ext, blanco_decam_i_odonnell_ext, blanco_decam_r_odonnell_ext, blanco_decam_z_odonnell_ext, cfht_megacam_r_odonnell_ext, cfht_megacam_u_odonnell_ext, euclid_nisp_h_odonnell_ext, euclid_nisp_j_odonnell_ext, euclid_nisp_y_odonnell_ext, euclid_vis_odonnell_ext, gaia_bp_odonnell_ext, gaia_g_odonnell_ext, gaia_rp_odonnell_ext, jst_jpcam_g_odonnell_ext, kids_g_odonnell_ext, kids_i_odonnell_ext, kids_r_odonnell_ext, kids_u_odonnell_ext, lsst_g_odonnell_ext, lsst_i_odonnell_ext, lsst_r_odonnell_ext, lsst_u_odonnell_ext, lsst_y_odonnell_ext, lsst_z_odonnell_ext, pan_starrs_i_odonnell_ext, pan_starrs_z_odonnell_ext, sdss_r01_odonnell_ext, subaru_hsc_z_odonnell_ext, blanco_decam_g_el_model1_odonnell_ext, blanco_decam_g_el_model3_odonnell_ext, blanco_decam_i_el_model1_odonnell_ext, blanco_decam_i_el_model3_odonnell_ext, blanco_decam_r_el_model1_odonnell_ext, blanco_decam_r_el_model3_odonnell_ext, blanco_decam_z_el_model1_odonnell_ext, blanco_decam_z_el_model3_odonnell_ext, gaia_bp_el_model1_odonnell_ext, gaia_bp_el_model3_odonnell_ext, gaia_g_el_model1_odonnell_ext, gaia_g_el_model3_odonnell_ext, gaia_rp_el_model1_odonnell_ext, gaia_rp_el_model3_odonnell_ext, subaru_hsc_z_el_model1_odonnell_ext, subaru_hsc_z_el_model3_odonnell_ext, jst_jpcam_g_el_model1_odonnell_ext, jst_jpcam_g_el_model3_odonnell_ext, kids_g_el_model1_odonnell_ext, kids_g_el_model3_odonnell_ext, kids_i_el_model1_odonnell_ext, kids_i_el_model3_odonnell_ext, kids_r_el_model1_odonnell_ext, kids_r_el_model3_odonnell_ext, kids_u_el_model1_odonnell_ext, kids_u_el_model3_odonnell_ext, lsst_g_el_model1_odonnell_ext, lsst_g_el_model3_odonnell_ext, lsst_i_el_model1_odonnell_ext, lsst_i_el_model3_odonnell_ext, lsst_r_el_model1_odonnell_ext, lsst_r_el_model3_odonnell_ext, lsst_u_el_model1_odonnell_ext, lsst_u_el_model3_odonnell_ext, lsst_y_el_model1_odonnell_ext, lsst_y_el_model3_odonnell_ext, lsst_z_el_model1_odonnell_ext, lsst_z_el_model3_odonnell_ext, cfht_megacam_r_el_model1_odonnell_ext, cfht_megacam_r_el_model3_odonnell_ext, cfht_megacam_u_el_model1_odonnell_ext, cfht_megacam_u_el_model3_odonnell_ext, pan_starrs_i_el_model1_odonnell_ext, pan_starrs_i_el_model3_odonnell_ext, pan_starrs_z_el_model1_odonnell_ext, pan_starrs_z_el_model3_odonnell_ext, euclid_nisp_h_el_model1_odonnell_ext, euclid_nisp_h_el_model3_odonnell_ext, euclid_nisp_j_el_model1_odonnell_ext, euclid_nisp_j_el_model3_odonnell_ext, euclid_nisp_y_el_model1_odonnell_ext, euclid_nisp_y_el_model3_odonnell_ext, euclid_vis_el_model1_odonnell_ext, euclid_vis_el_model3_odonnell_ext, 2mass_h_el_model1_odonnell_ext, 2mass_h_el_model3_odonnell_ext, 2mass_j_el_model1_odonnell_ext, 2mass_j_el_model3_odonnell_ext, 2mass_ks_el_model1_odonnell_ext, 2mass_ks_el_model3_odonnell_ext, sdss_r01_el_model1_odonnell_ext, sdss_r01_el_model3_odonnell_ext, dominant_shape, bulge_angle, disk_angle, median_major_axis, scale_length, bulge_fraction, disk_scalelength, disk_nsersic, disk_r50, bulge_r50, bulge_nsersic, disk_ellipticity, bulge_ellipticity, disk_axis_ratio, bulge_axis_ratio, disk_inclination_angle, bulge_inclination_angle, random_index, halo_id, galaxy_id, step FROM cosmohub.flagship_mock_1_9_2_c
CREATE TABLE tallada.flagship_mock_1_9_2_s( `kind` bigint, `luminosity_r01` double, `halo_x` double, `halo_y` double, `halo_z` double, `halo_vx` double, `halo_vy` double, `halo_vz` double, `halo_r` double, `true_redshift_halo` double, `halo_lm` double, `halo_n_sats` bigint, `n_gals` bigint, `abs_mag_r01` double, `abs_mag_r01_evolved` double, `luminosity_r01_evolved` double, `gr_restframe` double, `color_kind` int, `x_gal` double, `y_gal` double, `z_gal` double, `r_gal` double, `true_redshift_gal` double, `ra_gal` double, `dec_gal` double, `ra_mag_gal` double, `dec_mag_gal` double, `kappa` double, `gamma1` double, `gamma2` double, `hpix_29_nest` bigint, `hpix_13_nest` bigint, `vx_gal` double, `vy_gal` double, `vz_gal` double, `vrad_gal` double, `delta_r` double, `observed_redshift_gal` double, `sed_ke` double, `gr_cosmos` double, `sed_cosmos` double, `ext_curve_cosmos` bigint, `ebv_cosmos` double, `is_within_cosmos` boolean, `cosmos_distance` double, `abs_mag_uv_dereddened` double, `log_ml_r01` double, `log_stellar_mass` double, `metallicity` double, `log_sfr` double, `logf_halpha_ext` double, `logf_halpha` double, `halpha_scatter` double, `loglum_halpha` double, `loglum_halpha_ext` double, `logf_dummy` double, `z_dummy` double, `logf_halpha_model1_ext` double, `logf_halpha_model1` double, `loglum_halpha_model1_ext` double, `loglum_halpha_model1` double, `logf_halpha_model3_ext` double, `logf_halpha_model3` double, `loglum_halpha_model3_ext` double, `loglum_halpha_model3` double, `logf_hbeta_model1_ext` double, `logf_hbeta_model1` double, `logf_o2_model1_ext` double, `logf_o2_model1` double, `logf_n2_model1_ext` double, `logf_n2_model1` double, `logf_o3_model1_ext` double, `logf_o3_model1` double, `logf_s2_model1_ext` double, `logf_s2_model1` double, `logf_hbeta_model3_ext` double, `logf_hbeta_model3` double, `logf_o2_model3_ext` double, `logf_o2_model3` double, `logf_n2_model3_ext` double, `logf_n2_model3` double, `logf_o3_model3_ext` double, `logf_o3_model3` double, `logf_s2_model3_ext` double, `logf_s2_model3` double, `blanco_decam_g` double, `blanco_decam_i` double, `blanco_decam_r` double, `blanco_decam_z` double, `gaia_bp` double, `gaia_g` double, `gaia_rp` double, `subaru_hsc_z` double, `jst_jpcam_g` double, `kids_g` double, `kids_i` double, `kids_r` double, `kids_u` double, `lsst_g` double, `lsst_i` double, `lsst_r` double, `lsst_u` double, `lsst_y` double, `lsst_z` double, `cfht_megacam_r` double, `cfht_megacam_u` double, `pan_starrs_i` double, `pan_starrs_z` double, `euclid_nisp_h` double, `euclid_nisp_j` double, `euclid_nisp_y` double, `euclid_vis` double, `2mass_h` double, `2mass_j` double, `2mass_ks` double, `sdss_r01` double, `l_gal` double, `b_gal` double, `mw_extinction` double, `2mass_h_odonnell_ext` double, `2mass_j_odonnell_ext` double, `2mass_ks_odonnell_ext` double, `blanco_decam_g_odonnell_ext` double, `blanco_decam_i_odonnell_ext` double, `blanco_decam_r_odonnell_ext` double, `blanco_decam_z_odonnell_ext` double, `cfht_megacam_r_odonnell_ext` double, `cfht_megacam_u_odonnell_ext` double, `euclid_nisp_h_odonnell_ext` double, `euclid_nisp_j_odonnell_ext` double, `euclid_nisp_y_odonnell_ext` double, `euclid_vis_odonnell_ext` double, `gaia_bp_odonnell_ext` double, `gaia_g_odonnell_ext` double, `gaia_rp_odonnell_ext` double, `jst_jpcam_g_odonnell_ext` double, `kids_g_odonnell_ext` double, `kids_i_odonnell_ext` double, `kids_r_odonnell_ext` double, `kids_u_odonnell_ext` double, `lsst_g_odonnell_ext` double, `lsst_i_odonnell_ext` double, `lsst_r_odonnell_ext` double, `lsst_u_odonnell_ext` double, `lsst_y_odonnell_ext` double, `lsst_z_odonnell_ext` double, `pan_starrs_i_odonnell_ext` double, `pan_starrs_z_odonnell_ext` double, `sdss_r01_odonnell_ext` double, `subaru_hsc_z_odonnell_ext` double, `blanco_decam_g_el_model1_odonnell_ext` double, `blanco_decam_g_el_model3_odonnell_ext` double, `blanco_decam_i_el_model1_odonnell_ext` double, `blanco_decam_i_el_model3_odonnell_ext` double, `blanco_decam_r_el_model1_odonnell_ext` double, `blanco_decam_r_el_model3_odonnell_ext` double, `blanco_decam_z_el_model1_odonnell_ext` double, `blanco_decam_z_el_model3_odonnell_ext` double, `gaia_bp_el_model1_odonnell_ext` double, `gaia_bp_el_model3_odonnell_ext` double, `gaia_g_el_model1_odonnell_ext` double, `gaia_g_el_model3_odonnell_ext` double, `gaia_rp_el_model1_odonnell_ext` double, `gaia_rp_el_model3_odonnell_ext` double, `subaru_hsc_z_el_model1_odonnell_ext` double, `subaru_hsc_z_el_model3_odonnell_ext` double, `jst_jpcam_g_el_model1_odonnell_ext` double, `jst_jpcam_g_el_model3_odonnell_ext` double, `kids_g_el_model1_odonnell_ext` double, `kids_g_el_model3_odonnell_ext` double, `kids_i_el_model1_odonnell_ext` double, `kids_i_el_model3_odonnell_ext` double, `kids_r_el_model1_odonnell_ext` double, `kids_r_el_model3_odonnell_ext` double, `kids_u_el_model1_odonnell_ext` double, `kids_u_el_model3_odonnell_ext` double, `lsst_g_el_model1_odonnell_ext` double, `lsst_g_el_model3_odonnell_ext` double, `lsst_i_el_model1_odonnell_ext` double, `lsst_i_el_model3_odonnell_ext` double, `lsst_r_el_model1_odonnell_ext` double, `lsst_r_el_model3_odonnell_ext` double, `lsst_u_el_model1_odonnell_ext` double, `lsst_u_el_model3_odonnell_ext` double, `lsst_y_el_model1_odonnell_ext` double, `lsst_y_el_model3_odonnell_ext` double, `lsst_z_el_model1_odonnell_ext` double, `lsst_z_el_model3_odonnell_ext` double, `cfht_megacam_r_el_model1_odonnell_ext` double, `cfht_megacam_r_el_model3_odonnell_ext` double, `cfht_megacam_u_el_model1_odonnell_ext` double, `cfht_megacam_u_el_model3_odonnell_ext` double, `pan_starrs_i_el_model1_odonnell_ext` double, `pan_starrs_i_el_model3_odonnell_ext` double, `pan_starrs_z_el_model1_odonnell_ext` double, `pan_starrs_z_el_model3_odonnell_ext` double, `euclid_nisp_h_el_model1_odonnell_ext` double, `euclid_nisp_h_el_model3_odonnell_ext` double, `euclid_nisp_j_el_model1_odonnell_ext` double, `euclid_nisp_j_el_model3_odonnell_ext` double, `euclid_nisp_y_el_model1_odonnell_ext` double, `euclid_nisp_y_el_model3_odonnell_ext` double, `euclid_vis_el_model1_odonnell_ext` double, `euclid_vis_el_model3_odonnell_ext` double, `2mass_h_el_model1_odonnell_ext` double, `2mass_h_el_model3_odonnell_ext` double, `2mass_j_el_model1_odonnell_ext` double, `2mass_j_el_model3_odonnell_ext` double, `2mass_ks_el_model1_odonnell_ext` double, `2mass_ks_el_model3_odonnell_ext` double, `sdss_r01_el_model1_odonnell_ext` double, `sdss_r01_el_model3_odonnell_ext` double, `dominant_shape` bigint COMMENT 'flag to define whether the galaxy is BULGE-dominated (0) or DISK-dominated (1)', `bulge_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `disk_angle` double COMMENT 'position of the disk rotation axis (degrees) (assumption: bulge_angle = disk_angle). TU Galaxy stamps convention for OU-SIM: the standard is to set the position angle from North to East, with the major axis aligned in Declination', `median_major_axis` double COMMENT 'median semi-major axis exponential scalength. Profile defined as: I = I_o x exp (-radius/scalelength)', `scale_length` double COMMENT 'disc and bulge scalelength prior', `bulge_fraction` double COMMENT 'ratio of the flux in the bulge component to the total flux (often written B/T)', `disk_scalelength` double COMMENT 'scalength of the disk, profile defined as: I = I_o x exp (-radius/disk_scalelength)', `disk_nsersic` double COMMENT 'Sersic index of the disk component', `disk_r50` double COMMENT 'half light radius of the disk. For an exponential profile (or Sersec profile with index n=1), disk_r50 = disk_scalelength * 1.678', `bulge_r50` double COMMENT 'half light radius of the bulge', `bulge_nsersic` double COMMENT 'Sersic index of the bulge component', `disk_ellipticity` double COMMENT 'ellipticity of the disk defined as disk_ellipticity = (1 - disk_axis_ratio) / (1 + disk_axis_ratio)', `bulge_ellipticity` double COMMENT 'ellipticity of the bulge defined as bulge_ellipticity = (1 - bulge_axis_ratio) / (1 + bulge_axis_ratio)', `disk_axis_ratio` double COMMENT 'disk projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `bulge_axis_ratio` double COMMENT 'bulge projected axis ratio defined as b/a (b: semi-minor axis, a: semi-major axis)', `disk_inclination_angle` double COMMENT , `bulge_inclination_angle` double COMMENT , `random_index` double, `halo_id` bigint, `galaxy_id` bigint ) PARTITIONED BY ( `step` smallint ) CLUSTERED BY ( hpix_13_nest ) SORTED BY ( hpix_13_nest ASC ) INTO 128 BUCKETS STORED AS ORC ;
cat << EOF > lensing_step.sql
SET hive.auto.convert.join.noconditionaltask.size=1;
INSERT OVERWRITE TABLE tallada.flagship_mock_1_9_2_s PARTITION (step=${STEP})
SELECT
m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm,
m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal,
m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, magpos.ra_mag, magpos.dec_mag, m.kappa, m.gamma1, m.gamma2,
m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos,
m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01,
m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha, m.loglum_halpha_ext,
m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext, m.loglum_halpha_model1,
m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3, m.logf_hbeta_model1_ext,
m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1, m.logf_o3_model1_ext,
m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3, m.logf_o2_model3_ext,
m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3, m.logf_s2_model3_ext,
m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g, m.gaia_rp,
m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y, m.lsst_z,
m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y, m.euclid_vis,
m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext, m.2mass_j_odonnell_ext,
m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext, m.blanco_decam_r_odonnell_ext,
m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext, m.euclid_nisp_h_odonnell_ext,
m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext, m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext,
m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext, m.kids_i_odonnell_ext, m.kids_r_odonnell_ext,
m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext, m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext,
m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext, m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext,
m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext, m.blanco_decam_g_el_model3_odonnell_ext,
m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext, m.blanco_decam_r_el_model1_odonnell_ext,
m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext, m.blanco_decam_z_el_model3_odonnell_ext,
m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext, m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext,
m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext, m.subaru_hsc_z_el_model1_odonnell_ext,
m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext, m.jst_jpcam_g_el_model3_odonnell_ext,
m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext, m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext,
m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext, m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext,
m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext, m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext,
m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext, m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext,
m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext, m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext,
m.cfht_megacam_r_el_model1_odonnell_ext, m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext,
m.cfht_megacam_u_el_model3_odonnell_ext, m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext,
m.pan_starrs_z_el_model1_odonnell_ext, m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext,
m.euclid_nisp_h_el_model3_odonnell_ext, m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext,
m.euclid_nisp_y_el_model1_odonnell_ext, m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext,
m.euclid_vis_el_model3_odonnell_ext, m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext,
m.2mass_j_el_model1_odonnell_ext, m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext,
m.2mass_ks_el_model3_odonnell_ext, m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape,
m.bulge_angle, m.disk_angle, m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50,
m.bulge_r50, m.bulge_nsersic, m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle,
m.bulge_inclination_angle, m.random_index, m.halo_id, m.galaxy_id
FROM (
SELECT
m.kind, m.luminosity_r01, m.halo_x, m.halo_y, m.halo_z, m.halo_vx, m.halo_vy, m.halo_vz, m.halo_r, m.true_redshift_halo, m.halo_lm,
m.halo_n_sats, m.n_gals, m.abs_mag_r01, m.abs_mag_r01_evolved, m.luminosity_r01_evolved, m.gr_restframe, m.color_kind, m.x_gal,
m.y_gal, m.z_gal, m.r_gal, m.true_redshift_gal, m.ra_gal, m.dec_gal, l.defl_0 as kappa, l.shear_1 as gamma1, l.shear_2 as gamma2,
m.hpix_29_nest, m.hpix_13_nest, m.vx_gal, m.vy_gal, m.vz_gal, m.vrad_gal, m.delta_r, m.observed_redshift_gal, m.sed_ke, m.gr_cosmos,
m.sed_cosmos, m.ext_curve_cosmos, m.ebv_cosmos, m.is_within_cosmos, m.cosmos_distance, m.abs_mag_uv_dereddened, m.log_ml_r01,
m.log_stellar_mass, m.metallicity, m.log_sfr, m.logf_halpha_ext, m.logf_halpha, m.halpha_scatter, m.loglum_halpha,
m.loglum_halpha_ext, m.logf_dummy, m.z_dummy, m.logf_halpha_model1_ext, m.logf_halpha_model1, m.loglum_halpha_model1_ext,
m.loglum_halpha_model1, m.logf_halpha_model3_ext, m.logf_halpha_model3, m.loglum_halpha_model3_ext, m.loglum_halpha_model3,
m.logf_hbeta_model1_ext, m.logf_hbeta_model1, m.logf_o2_model1_ext, m.logf_o2_model1, m.logf_n2_model1_ext, m.logf_n2_model1,
m.logf_o3_model1_ext, m.logf_o3_model1, m.logf_s2_model1_ext, m.logf_s2_model1, m.logf_hbeta_model3_ext, m.logf_hbeta_model3,
m.logf_o2_model3_ext, m.logf_o2_model3, m.logf_n2_model3_ext, m.logf_n2_model3, m.logf_o3_model3_ext, m.logf_o3_model3,
m.logf_s2_model3_ext, m.logf_s2_model3, m.blanco_decam_g, m.blanco_decam_i, m.blanco_decam_r, m.blanco_decam_z, m.gaia_bp, m.gaia_g,
m.gaia_rp, m.subaru_hsc_z, m.jst_jpcam_g, m.kids_g, m.kids_i, m.kids_r, m.kids_u, m.lsst_g, m.lsst_i, m.lsst_r, m.lsst_u, m.lsst_y,
m.lsst_z, m.cfht_megacam_r, m.cfht_megacam_u, m.pan_starrs_i, m.pan_starrs_z, m.euclid_nisp_h, m.euclid_nisp_j, m.euclid_nisp_y,
m.euclid_vis, m.2mass_h, m.2mass_j, m.2mass_ks, m.sdss_r01, m.l_gal, m.b_gal,mw_extinction, m.2mass_h_odonnell_ext,
m.2mass_j_odonnell_ext, m.2mass_ks_odonnell_ext, m.blanco_decam_g_odonnell_ext, m.blanco_decam_i_odonnell_ext,
m.blanco_decam_r_odonnell_ext, m.blanco_decam_z_odonnell_ext, m.cfht_megacam_r_odonnell_ext, m.cfht_megacam_u_odonnell_ext,
m.euclid_nisp_h_odonnell_ext, m.euclid_nisp_j_odonnell_ext, m.euclid_nisp_y_odonnell_ext, m.euclid_vis_odonnell_ext,
m.gaia_bp_odonnell_ext, m.gaia_g_odonnell_ext, m.gaia_rp_odonnell_ext, m.jst_jpcam_g_odonnell_ext, m.kids_g_odonnell_ext,
m.kids_i_odonnell_ext, m.kids_r_odonnell_ext, m.kids_u_odonnell_ext, m.lsst_g_odonnell_ext, m.lsst_i_odonnell_ext,
m.lsst_r_odonnell_ext, m.lsst_u_odonnell_ext, m.lsst_y_odonnell_ext, m.lsst_z_odonnell_ext, m.pan_starrs_i_odonnell_ext,
m.pan_starrs_z_odonnell_ext, m.sdss_r01_odonnell_ext, m.subaru_hsc_z_odonnell_ext, m.blanco_decam_g_el_model1_odonnell_ext,
m.blanco_decam_g_el_model3_odonnell_ext, m.blanco_decam_i_el_model1_odonnell_ext, m.blanco_decam_i_el_model3_odonnell_ext,
m.blanco_decam_r_el_model1_odonnell_ext, m.blanco_decam_r_el_model3_odonnell_ext, m.blanco_decam_z_el_model1_odonnell_ext,
m.blanco_decam_z_el_model3_odonnell_ext, m.gaia_bp_el_model1_odonnell_ext, m.gaia_bp_el_model3_odonnell_ext,
m.gaia_g_el_model1_odonnell_ext, m.gaia_g_el_model3_odonnell_ext, m.gaia_rp_el_model1_odonnell_ext, m.gaia_rp_el_model3_odonnell_ext,
m.subaru_hsc_z_el_model1_odonnell_ext, m.subaru_hsc_z_el_model3_odonnell_ext, m.jst_jpcam_g_el_model1_odonnell_ext,
m.jst_jpcam_g_el_model3_odonnell_ext, m.kids_g_el_model1_odonnell_ext, m.kids_g_el_model3_odonnell_ext,
m.kids_i_el_model1_odonnell_ext, m.kids_i_el_model3_odonnell_ext, m.kids_r_el_model1_odonnell_ext, m.kids_r_el_model3_odonnell_ext,
m.kids_u_el_model1_odonnell_ext, m.kids_u_el_model3_odonnell_ext, m.lsst_g_el_model1_odonnell_ext, m.lsst_g_el_model3_odonnell_ext,
m.lsst_i_el_model1_odonnell_ext, m.lsst_i_el_model3_odonnell_ext, m.lsst_r_el_model1_odonnell_ext, m.lsst_r_el_model3_odonnell_ext,
m.lsst_u_el_model1_odonnell_ext, m.lsst_u_el_model3_odonnell_ext, m.lsst_y_el_model1_odonnell_ext, m.lsst_y_el_model3_odonnell_ext,
m.lsst_z_el_model1_odonnell_ext, m.lsst_z_el_model3_odonnell_ext, m.cfht_megacam_r_el_model1_odonnell_ext,
m.cfht_megacam_r_el_model3_odonnell_ext, m.cfht_megacam_u_el_model1_odonnell_ext, m.cfht_megacam_u_el_model3_odonnell_ext,
m.pan_starrs_i_el_model1_odonnell_ext, m.pan_starrs_i_el_model3_odonnell_ext, m.pan_starrs_z_el_model1_odonnell_ext,
m.pan_starrs_z_el_model3_odonnell_ext, m.euclid_nisp_h_el_model1_odonnell_ext, m.euclid_nisp_h_el_model3_odonnell_ext,
m.euclid_nisp_j_el_model1_odonnell_ext, m.euclid_nisp_j_el_model3_odonnell_ext, m.euclid_nisp_y_el_model1_odonnell_ext,
m.euclid_nisp_y_el_model3_odonnell_ext, m.euclid_vis_el_model1_odonnell_ext, m.euclid_vis_el_model3_odonnell_ext,
m.2mass_h_el_model1_odonnell_ext, m.2mass_h_el_model3_odonnell_ext, m.2mass_j_el_model1_odonnell_ext,
m.2mass_j_el_model3_odonnell_ext, m.2mass_ks_el_model1_odonnell_ext, m.2mass_ks_el_model3_odonnell_ext,
m.sdss_r01_el_model1_odonnell_ext, m.sdss_r01_el_model3_odonnell_ext, m.dominant_shape, m.bulge_angle, m.disk_angle,
m.median_major_axis, m.scale_length, m.bulge_fraction, m.disk_scalelength, m.disk_nsersic, m.disk_r50, m.bulge_r50, m.bulge_nsersic,
m.disk_ellipticity, m.bulge_ellipticity, m.disk_axis_ratio, m.bulge_axis_ratio, m.disk_inclination_angle, m.bulge_inclination_angle,
m.random_index, m.halo_id, m.galaxy_id,
udf.magnified_positions(CAST(m.ra_gal AS FLOAT), CAST(m.dec_gal AS FLOAT), l.defl_1, l.defl_2) AS magpos
FROM tallada.flagship_mock_1_9_2_c2 AS m
JOIN cosmohub.flagship_lensing AS l
ON udf.ang2pix(13, m.ra_gal, m.dec_gal, True, True) = l.hpix
AND m.step = l.step
AND l.step=${STEP} AND m.step=${STEP}
) AS m
;
for STEP in $(seq 344 400);
do
echo $STEP
sem -j4 "beeline --color=true --showHeader=true --verbose=true --silent=false -u \
'jdbc:hive2://ambarisrv02.pic.es:2181,ambarisrv03.pic.es:2181,ambarisrv01.pic.es:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' \
-f lensing_step.sql --hivevar STEP=${STEP}"
done
sem --wait